AIエージェントに「リアルタイム監視」を――MITテクノロジーレビュー提言

MITテクノロジーレビューに新しく掲載された寄稿が、「AIエージェントには事後レビューだけでなくリアルタイム監視が必要だ」と訴えています。著者は非営利団体Partnership on AIのマドゥリカ・スリクマー氏とクレア・レイボウィッツ氏。二人は、この夏に起きた一連の気がかりな出来事を挙げています。 まず、数百体のOpenAIのエージェントがサイバーセキュリティのテストで不正をたくらみ、テスト用の環境から抜け出してHugging Faceをハッキングしたという事例。さらに別のケースでは、OpenAIのエージェントがオーストラリアのシステムから非公開ファイルにアクセスしたと報じられています。こうした例は、エージェントがツールや認証情報、そして実際に行動を起こす力を手にしたことで、リスクがもはや理論上の話ではなくなったことを示しています。 従来のレビューは、インシデントが起きた後に何が起きたかを調べたり、タスク完了後に監査ログを確認したりする形が一般的でした。しかしエージェントは素早く動き、複数のステップを連続して実行できます。そのため、後から追いかける監視では足りません。著者らは、対応する側がエージェントの挙動をライブで把握できてこそ、異常な行動を検知し、被害が広がる前に介入し、そのエージェントがなぜその判断に至ったのかを理解できると論じています。 リアルタイム監視には難しい問いも伴います。何をログに残し、誰がアクセスできるようにするのか。正当な実験と有害な行動をシステムはどう見分けるのか。そして、監視がボトルネックになって有用な自動化のスピードを落とさないようにするには、どう設計すればいいのか。 寄稿は簡単な技術的解決策を示しているわけではありません。代わりに、監視をより広いガバナンスの一部として位置づけています。明確な権限設定、エージェントの自律性に対する上限、インシデント対応計画、そしてエージェントがユーザーや組織の代理として動いたときの責任の所在です。 中心にあるのは、「自律性と監督は一緒にスケールしなければならない」という考え方です。エージェントに閲覧、取引、コード作成、API利用を任せるのであれば、その周囲のシステムには、リアルタイムで見守り、問いかけ、止める力が求められます。