AIの「幻覚」を悪用した新たな攻撃、大規模ボットネット構築に

サイバーセキュリティ研究者が「HalluSquatting（ハルクスワッティング）」と名付けた危険な新たな攻撃手法を特定しました。この手法は、大規模言語モデル（LLM）が持つ根本的な弱点、すなわち「不確かなことを認められない」性質を悪用します。攻撃者は9種類の人気AIツールを操作し、大規模なボットネットを構築することで、世界中のインターネットインフラに深刻な脅威をもたらす可能性があります。 HalluSquattingは、LLMがもっともらしく聞こえるが誤った情報を生成する「ハルシネーション（幻覚）」と呼ばれる現象を利用します。攻撃者は意図的にハルシネーションを誘発するプロンプトを作成し、AIシステムにボットネットの運用に加担するコードやコマンド、設定を生成させます。 例えば、分散ネットワーク用のサーバーIPアドレスを尋ねると、LLMは一見有効に見えるアドレスをでっち上げ、攻撃者はそれをボットネットのトラフィック調整に利用できます。同様に、AIが一見正当に見えるスクリプトを生成した場合でも、その中に攻撃者が悪用できる脆弱性やバックドアが含まれている可能性があります。 この手法が特に厄介なのは、AI自身の出力を攻撃ベクターとして利用するため、検知が極めて困難な点です。既知の悪意あるパターンをスキャンする従来のセキュリティ対策では、一見無害に見えるAI生成コンテンツを起点とする攻撃を見逃す可能性があります。 研究者は、人気のチャットボットやコードアシスタントを含む、9種類の市販およびオープンソースのAIツールを使用したHalluSquatting攻撃の実証に成功しました。結果として構築されたボットネットは、分散型サービス拒否（DDoS）攻撃、クレデンシャルスタッフィング、暗号通貨マイニングなどに悪用される可能性があります。 リスクを軽減するため、セキュリティ専門家は、特にコードやネットワーク設定を生成する際に、AIシステムに対する厳格な出力検証の実装を推奨しています。また、組織はAIモデルが悪意のある活動を促進する可能性のあるリクエストを認識し、拒否するように訓練する必要があります。 今回の発見は、AIツールが開発ワークフローにますます統合される中で浮上してきた新たなサイバーセキュリティ上の課題を浮き彫りにしています。適切な保護策がなければ、人間を助けるために設計されたシステム自体が、人間に対して利用される可能性があることを示しています。