ありふれたAIアプリ400本、裏に悪用ディープフェイク機能

WIREDは、中国語圏の開発者に紐づく約400本のアプリとウェブサイトを確認したと報じました。表向きはごく普通のAIツールですが、暴力的で性的虐待的なディープフェイク画像や動画を生成する隠し機能が組み込まれているといいます。 問題の構図はこうです。悪用できる画像生成の機能が、一見まともな製品の中にパッケージされている。そのためユーザーにも、アプリストアにも、規制当局にも見つけにくくなっています。表面上は写真編集ツール、アバター作成アプリ、創作アシスタントなど、見慣れたAIユーティリティに見えるものが少なくありません。 報道によれば、隠された機能を使えば露骨で有害な合成メディアを作れてしまいます。厄介なのは、その機能が課金の壁の奥や招待コード、その他のレイヤーの裏に置かれている可能性があることです。通常のアプリ審査では気づきにくく、執行側の手を難しくします。 アプリストアはポリシー違反の製品を削除できますが、ウェブサイトやアプリは別名で再登場したり、公式チャネルの外で配布されたりし得ます。ツールは国境やプラットフォームをまたいであっという間に広がるため、規制当局も同じ壁にぶつかります。 開発者をどう審査するのか、悪用機能が多くの人に届く前にどれだけ早く検知できるのか、という問いも突きつけられます。ユーザーにとっての教訓は、UIが整っているからといって安全とは限らないということ。プラットフォーム事業者にとっては、とくに画像・動画生成を扱うAI製品をより深く見極める必要があるという示唆になります。 これは、正当なAIの創造性を損なわずにディープフェイク悪用をどう抑えるかという、大きな議論の一部でもあります。有害な機能が「普通のソフト」の中に隠れる以上、検知と執行のスピードを合わせていく必要がある——それがこの件の要点です。