NVIDIA Vera Rubin NVL72 稱霸 MLPerf 推論測試初登場

NVIDIA 宣布，Vera Rubin NVL72 系統在 MLPerf Inference v6.1 的首次亮相中拿下領先成績。這項基準測試衡量的，是 AI 系統在真實推論工作負載下能跑得多快、多有效率，而 NVIDIA 把這次結果定位為不只是速度紀錄，更是「推論效能正成為 AI 工廠核心經濟指標」的證據。在這個觀點下，吞吐量每提升一級，單位時間能生成的 token 就跟著增加，對販售模型存取權或經營大規模 AI 服務的營運商而言，可望直接帶動營收。 NVIDIA 同時強調，系統級效能與單一晶片規格一樣重要。Vera Rubin NVL72 被定位為機櫃級平台，這次的測試表現反映的是 GPU、網路、記憶體與軟體協同推進的成果。第二個支柱是基礎架構的擴充效率：當客戶增加硬體，吞吐量應該可預期地成長，而不是因為瓶頸而停滯。第三個槓桿則是軟體持續優化，讓既有部署能隨時間進步，不必汰換硬體。 MLPerf 的初登場也讓客戶有一套標準化方式，能把這些說法拿去和競爭對手的系統比較，同時也意味著 AI 基礎架構的競爭正從單純的訓練速度，轉向推論經濟學。對企業與雲端服務供應商而言，這代表選擇推論平台時，得同時衡量效能、擴充效率、軟體成熟度，以及每 token 的總成本。隨著 AI 工作負載從實驗階段走入大量生產，NVIDIA 這次的成績預料會讓這場辯論更加激烈。