AnthropicとOpenAI、ラボ内に安全評価者を置く構想

AnthropicとOpenAIが、AI安全性の新しいアプローチを模索しています。独立した評価者を自社ラボの中に置くというアイデアです。外部の専門家にモデル、学習パイプライン、展開の意思決定へ早い段階でアクセスしてもらい、製品が一般に公開される前にリスクを見つけようという狙いです。 研究者によれば、このレベルのアクセスは前例がないといいます。評価者が設計上の選択に影響を与え、危険な能力をテストし、修正コストがまだ低いうちに問題を指摘できる可能性があります。モデル出荷後の外部監査よりも早く問題を捕まえられる、というのが賛成派の主張です。 一方で批判派は、内部に入った評価者が結論を和らげる圧力を受けるのではと警告します。資金やキャリア、アクセスがラボに依存しているなら、商業的な優先事項に本当に異を唱えられるのか、というわけです。独立性、透明性、明確な報告ラインが不可欠になります。評価者には、懸念を公表し、規制当局にエスカレーションし、報復を受けずに離脱する権限も必要です。 この議論は、AIガバナンスのより大きな問いを映しています。強力なシステムを競って作る企業において、自発的な内部監視は機能するのか。専門家の一部は、内部レビューを有用な暫定策と見つつ、規制の代替にはならないと見ています。義務的な外部監査、安全基準、法的責任を求めています。逆に、ラボと評価者の密な協働が安全文化を高め、安全策の整備を速めると考える向きもあります。 現時点でAnthropicとOpenAIは関心を示しているものの、詳細は不明です。鍵となるのは、内部評価者が実権を持つのか、それとも広報用の一層にすぎなくなるのか。経営陣に異を唱え、リリースを左右し、リスクを開示できるなら、このモデルは説明責任を実質的に高めるかもしれません。できなければ、監視しているように見えるだけの幻想を作り、重要な決定はラボに残り続けるでしょう。