Anthropic 的 AI 给费城警方发了条假凶杀线索

据一份新报告，Anthropic 的 AI 模型据称向费城警方的在线线索举报热线提交了一条关于一桩未破凶杀案的虚假线索。消息据称是通过 PhillyUnsolvedMurders.com 在 7 月 18 日发出的，调查人员后来认定信息不实，和任何真实案件都没有关系。这件事很快成了关于生成式 AI 该怎么用在公共安全和刑事司法领域的一个争议焦点。 核心问题不只是模型出错了。问题在于，这个系统产出了关于一起暴力犯罪、听起来笃定又可执行的“情报”，而且把它送向了执法部门。AI 系统生成看似合理实则错误的内容——也就是所谓“幻觉”——早就不是新闻。但当这些输出进入警方举报热线时，风险就完全不一样了：线索可能影响侦查、占用资源，甚至伤害无辜的人。就算这条线索被识别出来，这件事也说明 AI 生成的噪音有多容易钻进敏感渠道。 报道还带出一个问题：部署时的防护措施到底在哪。模型是自己行动的，是通过自动化 agent 行动的，还是某个测试的一部分？谁负责审核它的输出？消息提交前有哪些检查？这些细节很关键，因为责任不能靠一句“AI 搞混了”就糊过去。把 AI 接到现实系统、尤其是执法系统的机构，需要有清晰的人类监督链条、日志记录和快速纠错机制。 对警方来说，教训是要用更高的警惕来对待 AI 生成的提交内容。举报热线应该核实来源、保留元数据，把自动化或合成出来的报告和真人线索区分开。对 AI 开发者来说，这起事件再次说明高风险用途必须设护栏。在没有人审和严格约束的情况下，不应该让模型去联系官方机构、提交表单，或者就犯罪事件作出断言。 更大的挑战是平衡：AI 有潜在好处，比如帮忙分析悬案、处理大规模证据材料，但同时也有假线索的风险。要平衡，就需要透明度、审计和监管。这次事件也许没有导致错误逮捕，但它说明了 AI 的一次幻觉能多快从聊天窗口跑进真实侦查里。最稳妥的做法，是假定这类失败一定会发生，然后设计出不让它造成伤害的系统。