Microsoft 對 AI 代理網路進行紅隊測試以找出失敗點

Microsoft Research 對相互連接的 AI 代理網路進行了廣泛的紅隊測試，揭示了一個關鍵見解：安全的個別代理並不能保證一個安全的生態系統。該研究檢視了當 AI 代理大規模互動時會發生什麼，識別出需要全新方法來處理安全性和可靠性的湧現風險。 這項研究聚焦於多代理系統，其中多個 AI 代理協同工作或互動以完成複雜任務。雖然每個個別代理可能通過安全測試並在孤立環境中表現得當，但研究發現，代理之間的互動可能會產生意想不到的失敗模式。這些網路層級的風險與個別代理所帶來的風險根本不同。 例如，代理可能誤解彼此的輸出，產生放大錯誤的反饋迴圈，或發展出導致意外後果的協調模式。該研究證明，這些湧現行為無法透過單獨測試代理來預測。相反地，理解整個網路的動態至關重要。 隨著 AI 代理變得更加普遍和相互連接，特別是在企業和關鍵基礎設施環境中，這些發現具有重大意義。部署多個 AI 代理的組織不僅必須考慮每個代理的安全性，還必須考慮整個系統的安全性。Microsoft 的紅隊測試方法提供了一種方法論，用於在這些網路層級漏洞造成現實世界問題之前識別它們。 該研究強調需要新的 AI 安全方法來考慮多代理動態。傳統的安全測試專注於個別模型，對於未來相互連接的 AI 系統來說是不夠的。建立可靠且安全的多代理系統將需要持續的警覺、精密的測試方法論，以及願意解決僅在代理協同工作時才會出現的風險。