犯罪ハッカーがAIエージェント悪用、既存ガードレールすり抜け

犯罪目的のハッカーがエージェント型AIツールを攻撃に使い始めており、AI各社が設けている安全のためのガードレールが十分に機能していない――WIREDの報道が伝えています。 問題は「チャットボットに悪質なコードを書かせる」という単純な話にとどまりません。新しいエージェント型のシステムは、ツールを使い、情報を閲覧し、複数ステップのタスクを実行できます。つまり偵察、ターゲット調査、コーディングなど、サイバー攻撃のさまざまな工程で便利に使えてしまうわけです。 報道によれば、攻撃者たちはAnthropicのClaudeのようなシステムを操作して、犯罪目的の作業を手伝わせていたとのこと。ここで浮かび上がるのが、ベンダーが定める安全ポリシーと現実の悪用とのあいだのギャップです。 AI企業は利用ルールを公開し、有害なリクエストをブロックするフィルターを導入しています。しかし本気の攻撃者は、プロンプトの言い回しを変える、タスクを小さく分割する、複数のツールを組み合わせるといった手口で、単純なチェックをすり抜けてしまえます。 エージェント型ではこの問題がさらに厄介になります。リスクは「モデルが何を言うか」だけではないからです。ソフトウェアやブラウザ、各種サービスにつながったときに「モデルが何をするか」もリスクに含まれます。1回のチャット応答を想定したガードレールは、一連の行動を実行するエージェントには効かない可能性があるのです。 この報道は、AI開発者と政策担当者に難しい問いを突きつけます。製品に大がかりな監視の仕組みを組み込まずに、どうやって悪用を検知するのか。高性能なエージェントには、どの程度のログ取得やレート制限、アクセス制御をかけるべきなのか。悪用を見つけたとき、どれだけ迅速に脅威情報を共有すべきなのか。答えはまだ出ていません。 はっきりしているのは、サイバー犯罪者たちがAIを「道具箱のもう一つの道具」として扱っているという事実です。そして安全ポリシーだけでは、彼らを止められません。エージェントの能力が上がるほど、AI企業には設計段階からセキュリティを組み込むことと、防御側とより密に連携することが求められていきそうです。