Groq 3 LPX 全面量產，NVIDIA 擴展 Vera Rubin 推論能力支援 AI 代理

NVIDIA 正在擴展其 Vera Rubin NVL72 平台，以支援下一波代理 AI 浪潮，而 Groq 3 LPX 現已全面量產。該公司在一次技術簡報中做出此宣布，強調 AI 推論的未來將取決於 AI 工廠每一層如何協同運作——而非單一突破性晶片。 代理 AI 系統能夠規劃、推理並執行多步驟任務，其所需的 token 生成速度遠比傳統聊天機器人更快。這些系統通常需要多次呼叫模型、從外部工具檢索資訊，並近乎即時地迭代回應。Vera Rubin NVL72 的擴展正是專為處理此類工作負載而設計，提供能跟上複雜代理工作流程需求的低延遲推論。 現已全面量產的 Groq 3 LPX 是此策略的關鍵組成。它提供高速 token 生成，縮短使用者輸入與最終輸出之間的時間，使代理系統感覺更靈敏、更有能力。這對自主研究、程式碼生成與客戶支援自動化等應用尤其重要，因為延遲可能會破壞使用者體驗。 NVIDIA 在此採取的是整體性方法。與其最佳化單一元件，該公司專注於整個推論管線——從模型載入、記憶體存取到輸出串流。其結果是一個能處理代理 AI 不可預測、多步驟特性而不犧牲效率的平台。 對於建構 AI 代理的開發者與企業而言，這意味著他們可以部署更複雜的系統，而無需擔心基礎設施瓶頸。隨著代理 AI 需求增長，NVIDIA 的 Vera Rubin NVL72 搭配 Groq 3 LPX，定位為下一個智慧自動化時代的基礎平台。