NVIDIA 軟硬體協同設計 對抗 AI 記憶體壓力

隨著模型變大、上下文視窗擴大，代理式應用越來越普遍，GPU 記憶體正面臨更大壓力。NVIDIA 表示，供給正在緊縮、價格正在上漲，且短期內預期會持續。它的回應是涵蓋記憶體技術採用、硬體與軟體的全端協同設計。目標是從每個位元組的記憶體榨出更多效能，而不是把容量當成唯一答案。 該公司指出，自己率先採用多項新記憶體標準，並與記憶體夥伴密切合作，讓這些技術快速進入市場。這很重要，因為記憶體頻寬與容量會影響可運行哪些模型、能容納多少上下文，以及一個系統能支撐多少工作負載。在 AI 工廠裡，記憶體不是旁枝末節，它會影響利用率、吞吐量，以及大規模提供模型服務的成本。 NVIDIA 的論點是，硬體與軟體必須一起設計，才能更有效率地使用記憶體。這可能包括選擇合適的記憶體技術、最佳化資料在系統中的流動方式，並確保軟體能善用新的記憶體能力，不必等待另一個生態系慢慢成熟。對代理式應用來說，壓力尤其明顯；這類應用可能保留很長的歷史、呼叫工具，並在不同任務間切換，每一步都可能增加記憶體需求。 NVIDIA 把協同設計定位成延伸稀缺記憶體資源的方法，試圖同時處理技術限制和市場疑慮。客戶想要更強大的 AI 系統，但也需要可預測的經濟效益。全端做法是要證明，效益可以來自平台各層的協調，而不只是加更多記憶體晶片。隨著買家在效能、供給和成本之間權衡，這個訊息將更形重要。