NVIDIA Vera CPU 鎖定 AI 代理吞吐量

NVIDIA 為 Vera CPU 提出一套說法，重點不只在 GPU 的原始效能。該公司表示，AI 代理做的事遠多於在模型裡生成文字或推理。它們會搜尋資訊、查詢資料庫、撰寫並測試程式碼，以及執行需要 GPU 推理與 CPU 執行反覆交接的動作。這意味著處理器是代理式工作流程每一步的一部分，而不只是輔助元件。 隨著企業部署更多代理，NVIDIA 主張，AI 工廠將需要為任務編排與高吞吐量協調而設計的 CPU，而不是一般用途工作負載。這套訴求是該公司推銷完整系統的一環，把 GPU、CPU、網路和軟體定位為單一的 AI 基礎設施平台。 訊息重點是代理式 AI 會帶來新的瓶頸。即使 GPU 能快速推理，若 CPU 無法有效管理任務、搬移資料或協調工具，代理仍可能卡住。因此 NVIDIA 把 Vera 形塑成配合 AI 工作節奏調校的 CPU；在這種工作裡，許多細小決策與轉換，可能和單次大型模型呼叫一樣重要。 對買家而言，這項主張凸顯 AI 基礎設施規劃的更大轉變：效能不再只取決於加速器的峰值吞吐量，也要看整體系統如何處理記憶體、排程、工具使用，以及模型推理與傳統運算之間不斷來回。客戶是否接受這套框架，將取決於實際吞吐量、成本和軟體支援；但 NVIDIA 顯然試圖把代理時代定義為全端硬體的挑戰。