NVIDIA Nemotron

NVIDIA Nemotron

NVIDIA的Nemotron 3 Ultra支援長時間運行的AI代理,具備高效推理、上下文保留及工具使用能力,適用於擴展互動。

什麼是 NVIDIA Nemotron?

NVIDIA Nemotron 3 Ultra 是一個擁有 550B 參數的混合專家(MoE)語言模型,其中活躍參數為 55B,專為協調複雜、長時間運行的 AI 代理工作流程而設計。它結合了前沿推理能力、高吞吐量以及領域適應性,使代理能夠維持上下文、使用工具,並在多次互動中高效運作。使用者可部署它來處理關鍵推理任務,例如在編碼過程中維持架構決策,或綜合數百個研究來源中相互矛盾的證據。

Application scenarios

  • 代理協調

    處理代理工作流程中最困難的決策,例如在編碼過程中維持架構決策。

  • 長期規劃

    管理具有較長規劃視野的複雜多步驟任務,如 EnterpriseOps-Gym 基準測試所示。

  • 編碼與終端任務

    支援基於終端的編碼基準測試(如 Terminal-Bench 2.0),用於自動化開發工作流程。

  • 指令遵循

    在複雜的指令遵循任務中保持高準確率(IFBench:82%)。

  • 知識工作

    擅長專業工作任務,包括基於搜尋的知識工作(ProfBench Search:56%)。

  • 長上下文處理

    可處理長達 100 萬個 token 的上下文視窗(Ruler @1M:95%),從而能夠分析大量文件或研究資料。

Core Features

  • 混合 Mamba-Transformer 層

    結合狀態空間模型與 Transformer 架構,可在擴展的代理互動中有效處理長上下文。

  • NVFP4 量化

    支援在多種 GPU 架構上部署,與標準精度相比,吞吐量可提升高達 5 倍。

  • LatentMoE 專家路由

    最佳化每個輸入由哪些專家子模型處理,從而提升混合專家推論的效率。

  • 多 token 預測

    透過同時預測多個 token,提升多輪任務的生成速度。

  • 多教師同策略蒸餾

    透過來自十多個特定領域教師模型的密集回饋進行訓練,持續提升領域專業化程度。

  • 開放配方、權重與授權

    提供完全開放的模型權重、訓練配方與授權,便於開發者廣泛採用和微調。

  • 透明的預訓練與強化學習資料管線

    提供完整的預訓練與強化學習資料管線文件,確保可重現性與自訂性。

目標使用者

正在建構需要前沿推理、複雜規劃與工具使用的長時間運行代理系統的 AI 開發者與工程師。這包括從事自主編碼助手、研究綜合工具、晶片設計驗證以及企業代理協調的團隊。開放的模型與配方也適合需要針對特定工作流程進行微調或領域適應的研究人員與組織。

如何使用 NVIDIA Nemotron?

可透過 NVIDIA 的開發者入口網站(developer.nvidia.com)存取該模型。開發者可以下載開放的模型權重、訓練配方以及資料管線文件。該模型設計為使用 NVFP4 量化技術,可在各種 GPU 架構上進行高效推論部署。若要整合到代理工作流程中,開發者可將其用作規劃、推理與工具呼叫的協調層,同時搭配更高效的模型來處理大量執行任務。

效果評測

NVIDIA Nemotron 3 Ultra 在代理生產力(PinchBench:91%)、長上下文處理(Ruler @1M:95%)和指令遵循(IFBench:82%)等基準測試中表現強勁,在多項關鍵指標上超越了像 Kimi K2.6(1T 參數)這樣更大的模型。其混合架構與量化支援使其在實際部署中具有實用性,而開放的授權與透明的訓練管線則降低了自訂的門檻。然而,該模型在長期規劃方面(EnterpriseOps-Gym:33%)的表現不如 GLM 5.1(40%),顯示在多步驟策略推理方面仍有改進空間。總體而言,對於正在建構需要推理深度與運作效率的複雜代理系統的開發者來說,這是一個功能強大、可投入生產的模型。

Frequently Asked Questions

什麼是 NVIDIA Nemotron?
NVIDIA Nemotron 是一款專為長時間運行的代理設計的強大 AI 模型,能在長時間互動中提供高效的推理、上下文保留和工具使用能力。
Nemotron 與其他 AI 模型有何不同?
Nemotron 擅長在長時間對話中維持上下文和推理,非常適合需要持續注意力的複雜多步驟任務。
Nemotron 可以使用外部工具嗎?
是的,Nemotron 設計為可與外部工具整合,讓它在長時間互動中執行資料檢索或 API 呼叫等操作。
Nemotron 適合即時應用嗎?
是的,Nemotron 針對高效推理和低延遲回應進行了最佳化,適合即時代理應用。
執行 Nemotron 需要什麼硬體?
Nemotron 在 NVIDIA GPU 上執行,利用其架構實現高效能,但具體需求取決於模型大小和部署方式。
開發者如何開始使用 Nemotron?
開發者可透過 NVIDIA 的 AI 平台(如 NVIDIA AI Enterprise)或提供 NVIDIA GPU 的雲端服務來存取 Nemotron。

NVIDIA Nemotron - AI Tool Detail

NVIDIA的Nemotron 3 Ultra支援長時間運行的AI代理,具備高效推理、上下文保留及工具使用能力,適用於擴展互動。

Category:代理人

Visit Link:https://developer.nvidia.com/blog/nvidia-nemotron-3-ultra-powers-faster-more-efficient-reasoning-for-long-running-agents/

Tags:NVIDIA Nemotron、AI 代理、長上下文推理、工具使用、高效 AI