文档投毒威胁RAG系统安全

一种新的安全漏洞已出现，目标是检索增强生成系统。这是一种流行的架构，AI模型通过从外部文档获取信息来为其答案提供依据。这种被称为“文档投毒”的威胁，涉及攻击者将恶意、偏见或误导性数据 subtly 注入RAG系统使用的源材料中。与直接攻击AI模型不同，这种方法利用了系统对“可信”外部数据的依赖。一旦源文档被污染，RAG系统在回答用户问题时就会检索并基于这些错误信息生成响应，可能导致输出被操纵，传播虚假信息或产生有害建议。