輝達採用 ICMS 技術，為何會推動 NAND 需求大增？

Question

Accepted Answer

輝達 ICMS 技術推動 NAND 需求激增的關鍵

輝達（Nvidia）在其 Vera Rubin 平台上採用 In-ference Context Memory Storage（ICMS）技術，此舉將顯著推升 NAND 快閃記憶體的市場需求，主因在於 ICMS 旨在解決大規模 AI 推論運算中的記憶體瓶頸，透過將 AI 模型運算的「短期記憶」——即 KV 快取（Key-Value Cache）——分層儲存於 SSD 等外部儲存裝置，以擴充可用的記憶體容量，進而支援更龐大、更複雜的模型運算。
KV 快取分層儲存架構的演進

KV 快取在 AI 推論過程中扮演至關重要的角色，它儲存了先前計算的關鍵-值配對，避免重複運算，進而提升效率。傳統上，KV 快取主要配置於 GPU 的高頻寬記憶體（HBM，G1）或系統的 DRAM（G2）。然而，隨著 AI 模型規模日益龐大，G1 和 G2 的容量已難以負荷，導致溢出資料（overflow data）必須被寫入速度較慢的傳統儲存層（G4），這會在讀取時造成 GPU 運算停頓，嚴重影響推論效能。
ICMS 導入 G3.5 儲存層的影響

ICMS 的核心創新在於引入了一個新的儲存層級，即 G3.5，透過 DPUs（Data Processing Units）連接 NVMe SSD 來儲存溢出的 KV 快取資料。相較於傳統架構直接將溢出資料寫入 G4，ICMS 的 G3.5 層級能提供顯著的效能提升。BlueField-4 DPU 作為儲存加速器，透過高速的 800 Gbps Spectrum-6 以太網路連接 GPU，使得 NVMe SSD 能夠實現比傳統 SSD 更高的頻寬與更低的延遲。這個被稱為「Context Memory」的 G3.5 層級，能夠儲存龐大的「溫資料」（warm data），並在需要時快速傳輸至 HBM 或 DRAM 等「熱資料」（hot data）裝置，這為代理式 AI 等需要巨大快取容量的應用提供了「偽無限」的外部顯存池。
SSD 容量需求與 NAND 市場衝擊

具體而言，輝達 Vera Rubin 平台在部署 ICMS 時，預期將採用 16TB 的 TLC SSD。更重要的是，每一套 Vera Rubin 伺服器系統為了支援 ICMS 的運作，需要額外配置高達 1,152TB 的 SSD 容量。如此龐大的 SSD 需求，直接且顯著地拉抬了全球 NAND 快閃記憶體的市場需求。此舉不僅為 NAND 供應商帶來新的成長動能，也預期將進一步加劇現有的全球 NAND 供應短缺問題。
效能提升與成本效益的權衡

雖然從 G3.5 層級存取資料的速度不如 HBM，但相較於重新計算整個模型的過程，其效能提升是顯而易見的。透過預取（Prefetching）技術，更可以有效掩蓋部分因存取 G3.5 層級資料所產生的延遲。這種在效能與成本之間取得平衡的設計，使得 ICMS 成為擴展 AI 推論能力的有效解決方案，並直接驅動了對大容量、高效能 SSD 的需求。

閱讀紀錄

隱藏 →

此記錄會在頁面關閉後消失

輝達採用 ICMS 技術，為何會推動 NAND 需求大增？

Loading

你覺得這篇文章有幫助嗎？

有幫助

沒幫助

回報問題

1

0

0

分享給好友