OpenAI推出锁定模式防御提示注入攻击

OpenAI推出了一项名为“锁定模式”的新安全功能，旨在保护ChatGPT中的敏感数据免受提示注入攻击。该功能标志着在应对日益增长的安全担忧方面迈出了重要一步，因为AI代理正在处理越来越多的敏感企业数据。 提示注入攻击发生时，恶意用户会精心构造输入，诱使AI模型忽略其安全指令或泄露机密信息。这些攻击已成为使用AI助手处理客户数据、内部文件或专有信息的企业面临的主要担忧。 锁定模式通过将模型的行为限制在一组预定义的允许操作和响应范围内来工作。启用后，AI无法被诱骗执行超出其指定范围的命令。这包括防止模型读取或输出某些类型的敏感数据、遵循用户提供文本中嵌入的指令，或在未经明确授权的情况下访问外部工具。 然而，安全专家指出，锁定模式可能并非一个完整的解决方案。老练的攻击者仍可能通过多步推理攻击或利用模型理解中的边缘情况等方法绕过这些限制。OpenAI已承认这些局限性，并将锁定模式描述为一道重要的防御层，而非万能药。 该功能对于正在将ChatGPT部署于客户支持、文档分析和内部知识管理等任务的企业客户尤其相关。这些用例通常涉及处理一旦泄露可能造成损害的敏感信息。 OpenAI建议使用锁定模式的组织同时实施传统安全措施，如访问控制、数据加密和监控。该公司正在继续研究针对提示注入的更高级防御机制，并计划发布更多安全功能。