AI記憶體瓶頸推升新技術需求

人工智能快速發展引發記憶體瓶頸，伯恩斯坦分析師指出市場需求已從高頻寬記憶體擴展至傳統DRAM、NAND快閃記憶體及儲存裝置。分析師強調，記憶體投資機會取決於AI工作負載類型，模型訓練、推理及檢索增強生成等應用對記憶體堆疊的需求各有不同。

人工智能的快速發展正在引發日益嚴峻的記憶體瓶頸問題。伯恩斯坦分析師指出，市場需求已從高頻寬記憶體擴展至傳統DRAM、NAND快閃記憶體及儲存裝置等多個領域。

分析師表示，記憶體領域的投資機會將愈來愈取決於具體的AI工作負載類型。無論是模型訓練、推理、檢索增強生成還是自主代理AI，各類應用對記憶體堆疊的需求各有不同。

模型訓練仍屬高度運算密集型任務，記憶體頻寬直接制約著模型規模與運算速度。HBM在其中扮演核心角色，但大規模訓練同樣需要系統DRAM、本地固態硬碟及網路儲存，以支援資料集存取、快取處理與檢查點儲存等需求。

推理階段則面臨截然不同的挑戰。初始的「預填充」階段主要受運算能力限制，因此GPU與HBM的重要性更為突出。隨後的「解碼」階段則受記憶體頻寬制約，伯恩斯坦指出，在大規模部署環境下，KV快取所需的記憶體容量甚至可能超過模型權重本身，進而限制AI服務所能同時支援的用戶數量。

這一壓力正推動新型記憶體層級的興起，包括CXL記憶體、英偉達的「Storage Next」計劃及CMX情境儲存技術，與HBM、傳統DRAM及SSD共同構成多層次的記憶體架構。檢索增強生成的普及有望進一步擴大市場需求，構建RAG資料庫需要大量SSD或HDD容量，同時配合系統DRAM使用。

記憶體製造商亦在積極研發高頻寬快閃記憶體等新技術，試圖將類似HBM的高頻寬特性與NAND更大容量、更低成本的優勢相結合。不過，伯恩斯坦指出，相關技術壁壘仍然相當高。