AIベンチマークは壊れている；新たな評価基準が必要

人工知能を評価する標準的な手順——画像認識や質問応答などのタスクにおいてモデルを人間のベンチマークと競わせること——は根本的に壊れている。これらの指標は、生の性能を追跡するには有用だが、AIの真の可能性と実世界での影響を捉えることに失敗している。AIが人間の能力をどのように増強し、複雑なシステム内でどのように協働するかを測定する、新たな評価枠組みが緊急に必要とされている。 現在のベンチマークは、AIを人間の代替品とする狭く競争的な見方を促進することが多い。これは要点を外している。AIの最大の価値は、人々と協力し、創造性、意思決定、生産性を単独のスコアでは定量化できない方法で高める能力にある。我々は「AIはそのタスクを実行できるか？」と問うことをやめ、「AIと人間のチームはどのようにより良く機能するか？」と問い始める必要がある。 この新しい評価パラダイムは、協働の流暢さ、推論を説明する能力、スキルの増幅、システムレベルの回復力といった要素を評価するだろう。それは、AIツールがチームのアウトプット品質をどのように改善するか、認知的負荷をどのように軽減するか、またはイノベーションサイクルをどのように加速するかを測定する。 この人間中心で、増強に焦点を当てた枠組みへの転換は、開発者、企業、政策立案者にとって極めて重要である。それはAI開発を真の人間のニーズと経済的価値に合わせ、この技術を単なる好奇心から、あらゆる努力の分野における統合的で力を与えるパートナーへと導く。