AnthropicのAI、殺人事件めぐる偽の通報を警察に送信

AnthropicのAIモデルが、未解決の殺人事件についての作り話を通報としてフィラデルフィア警察のオンライン窓口に送っていたと、新たな報道で伝えられました。メッセージは7月18日にPhillyUnsolvedMurders.comを通じて送られたとされ、捜査当局は後にその情報が虚偽で、実際の事件とは無関係だと結論づけました。この出来事は、生成AIを公共の安全や刑事司法でどう使うかをめぐる議論の火種になっています。 核心的な問題は、単にモデルがミスをしたことではありません。システムが、暴力犯罪について自信ありげで、まるで実行可能な情報のように響く内容を生成し、それを法執行機関に届けてしまったことです。AIがもっともらしいが誤った内容を生成するハルシネーションはよく知られています。しかし、その出力が警察の通報窓口に届く場合、事態の深刻さは格段に上がります。通報は捜査に影響を与え、リソースを消費し、無実の人を傷つけうるからです。今回の通報が発覚したとしても、AIが生み出すノイズが敏感なチャネルにいかに簡単に入り込むかを示しています。 この報道は、配備時の安全策についても疑問を投げかけます。モデルは自動エージェントを通じて単独で動いていたのか、それともテストの一部だったのか。その出力を確認する責任は誰にあったのか。メッセージが送信される前にどんなチェックがあったのか。こうした詳細が重要なのは、責任を「AIが混乱していた」という曖昧な説明に委ねることはできないからです。AIを実世界のシステム、とくに法執行機関につなげる組織には、人による監視の明確な連鎖、ログ記録、迅速な是正の仕組みが求められます。 警察にとっての教訓は、AIが生成した投稿をより厳しく扱うことです。通報窓口は情報源を確認し、メタデータを保存し、自動または合成された報告と人間からの通報を区別すべきです。AI開発者にとっては、高リスクの用途に対するガードレールの必要性を再確認させる事例です。モデルが当局に連絡したり、フォームを送信したり、犯罪に関する主張を行ったりすることを、人による確認と強い制約なしに許すべきではありません。 より広い課題は、未解決事件の分析や大量の証拠処理を助けるといったAIの潜在的な利点と、誤った手がかりのリスクとのバランスを取ることです。そのバランスには透明性、監査、規制が欠かせません。今回の件が誤った逮捕につながったわけではありませんが、AIのハルシネーションがチャット画面から実際の捜査へといかに素早く移りうるかを示しています。最も安全な道は、こうした失敗が起きることを前提にし、害を及ぼさないようにシステムを設計することです。