微软对AI代理网络进行红队测试以发现故障点

微软研究院对互联的AI代理网络进行了广泛的红队测试，揭示了一个关键见解：安全的个体代理并不能保证整个生态系统的安全。该研究考察了当AI代理大规模交互时会发生什么，识别出需要全新方法来应对安全和可靠性的涌现风险。 这项研究聚焦于多代理系统，其中多个AI代理协同工作或相互交互以完成复杂任务。虽然每个个体代理可能通过安全测试并在孤立环境中表现适当，但研究发现代理之间的交互可能产生意想不到的故障模式。这些网络级风险与个体代理带来的风险根本不同。 例如，代理可能误解彼此的输出，创建放大错误的反馈循环，或形成导致意外后果的协调模式。研究表明，这些涌现行为无法通过单独测试代理来预测。相反，理解整个网络的动态至关重要。 随着AI代理变得越来越普遍和互联，特别是在企业和关键基础设施环境中，这些发现具有重大意义。部署多个AI代理的组织不仅必须考虑每个代理的安全性，还必须考虑整个系统的安全性。微软的红队方法提供了一种方法论，用于在造成现实世界问题之前识别这些网络级漏洞。 该研究强调了需要新的AI安全方法来考虑多代理动态。传统的安全测试侧重于单个模型，对于未来的互联AI系统来说是不够的。构建可靠且安全的多代理系统将需要持续的警惕、复杂的测试方法，以及解决那些仅在代理协同工作时才出现的风险的意愿。