Nvidia 研究：AI 代理的關鍵在「框架」而非模型

Nvidia 的一份新研究論文，正挑戰業界對於如何建構可靠 AI 代理的核心假設。研究結果表明，「框架」（Harness）——即圍繞模型的周邊架構、工具與編排邏輯——對於代理的效能與安全性，遠比底層的 AI 模型本身更為關鍵。 這項見解來自一系列實驗，Nvidia 研究人員在複雜任務上測試了 AI 代理。他們發現，透過仔細調校框架，即使基礎模型在特定任務上並非特別擅長，代理仍能達成高水準的表現。相反地，一個功能強大的模型若被包裝在設計不良的框架中，則容易產生錯誤，甚至可能輕易「失控」。 框架涵蓋了模型周邊發生的一切：任務如何被拆解為步驟、代理如何與外部工具和 API 互動、如何檢索資訊，以及其輸出如何被驗證。研究顯示，這些元素不僅是輔助性的基礎設施，它們其實是驅動代理能力的首要因素。 舉例來說，一個設計良好的框架可以包含防止代理採取有害行動的安全護欄。它也可以包含一個回饋迴路，讓代理能根據即時觀察來修正自身錯誤。在確保可靠性方面，這些功能往往比試圖讓模型本身變得更強健更為有效。 這項發現對 AI 發展具有重大意義。它暗示，提升代理效能的最大收穫，可能來自於投資更好的框架、編排工具與評估系統，而非僅專注於更大或更精密的模型。這是一條更容易取得進展的途徑，因為它允許開發者利用現有的開源模型來建構強大的代理。 這項研究也凸顯了採取整體方法來看待 AI 安全的重要性。與其依賴模型天生「安全」，開發者可以將安全性直接建構在框架之中。這包括輸入淨化、輸出過濾，以及「人機協作」的審核流程等功能。 基本上，Nvidia 的研究是對 AI 社群的一項呼籲，要求大家更仔細地思考整個代理架構。模型是引擎，但框架是方向盤、煞車與導航系統。要讓 AI 代理真正有用且值得信賴，我們需要打造更好的框架。