AI Infrastructure2026-11-08NVIDIA AI Blog

显存又紧又贵,英伟达要用软硬协同榨性能

模型越来越大、上下文窗口越来越长、Agent类应用越来越多,GPU的显存压力也跟着上来了。英伟达表示,供应正在收紧、价格在上涨,而且短期内这个趋势还会持续。它的应对办法是全栈协同设计(codesign),覆盖内存技术选型、硬件和软件,目标是从每一字节内存里榨出更多性能,而不是单纯靠堆容量。 英伟达提到,自己是多个新内存标准的首批采用者,并且和内存合作伙伴紧密配合,让这些技术尽快落地。这事之所以重要,是因为内存带宽和容量直接决定能跑多大的模型、能装多长的上下文、一套系统能同时支撑多少负载。在AI工厂里,内存不是边角料,它影响利用率、吞吐,以及大规模服务模型时的成本。 英伟达的逻辑是,硬件和软件必须一起设计,内存才能用得更有效率。这包括选对内存技术、优化数据在系统里的流动方式,也包括让软件能直接用上新内存的能力,而不用等一整个生态慢慢成熟。Agent应用对这种压力尤其敏感——它们可能要保持很长的历史记录、调用工具、在任务之间来回切换,每一步都可能多一份内存开销。 把协同设计说成把稀缺内存用出更多余量的办法,英伟达其实是在同时回应技术约束和市场顾虑:客户想要更强的AI系统,但也需要可预期的经济性。全栈思路想证明的是,收益可以来自整个平台的协同,而不只是多加几颗内存芯片。在买家要在性能、供应和成本之间权衡的时候,这套说法会有分量。

相关资讯