OpenAI、「MentalHealthBench」でメンタルヘルスAIの安全性を評価

OpenAIは、メンタルヘルスに関するリアルな会話でAIシステムがどれだけ役立ち、安全かを測る新しいベンチマーク「MentalHealthBench」を公開しました。専門家の意見を取り入れて開発されたもので、一般的な評価では見逃してしまう繊細なシナリオに焦点を当てています。事実知識や文章の流暢さだけを試すのではなく、適切な支援ができているか、有害な助言を避けているか、そして専門家の助けを求めるよう促すべき場面でそれを認識できるかを調べます。 このベンチマークは「支援度」と「リスク」の両方を評価します。共感しているように聞こえても危険な助言をしていたり、慎重すぎて役に立つ助けを出せなかったりする応答があるため、この二つの視点は重要です。つらさや混乱、弱り切った状態といった難しい会話を通じてモデルをテストする仕組みを提供し、開発者が展開前に弱点を見つけ、時間をかけて改善を追えるようにするのが狙いです。 公開の背景には、人がメンタルヘルスの支援にAIを使うことへの懸念の高まりがあります。チャットボットはいつでも使えて、プライベートに感じられるため、セラピストや危機対応サービスにすぐにはアクセスできない人にとって魅力的です。ただし、訓練された専門家の代わりにはなりませんし、深刻な状況への対応を誤れば害を及ぼす可能性もあります。MentalHealthBenchのようなベンチマークは、そうした限界をより測定可能にすることを目指しています。 責任の所在をめぐる、より広い問いも浮かび上がります。健康に関わる文脈でモデルを展開するなら、どの程度の安全性が求められるべきなのか。危機的な状況やプライバシー、人間によるケアへの引き継ぎに企業はどう対応すべきなのか。MentalHealthBenchがすべての政策課題に答えを出すわけではありませんが、研究者や規制当局に共通の参照点を与えてくれます。AIが日常生活に入り込むほど、共感と正確さ、リスクへの意識を組み合わせた評価が、人を誤解させたり危険にさらしたりせずに支えるシステムづくりに欠かせなくなるでしょう。