AIベンチマークは壊れている――求められる新たな評価軸

長年、AIの性能は「個々の人間を越えるか」という単純な対人比較で評価されてきた。チェスや数学、コード生成、作文といった孤立した課題でのスコアが注目される一方で、記事はその枠組みが現実の運用にそぐわないと指摘している。
理由として、単発タスクの高得点が必ずしも堅牢性や一般化、コスト効率、説明性、安全性を保証しない点が挙げられる。分布シフトや継続学習、長期的な人間–AI協働など現場で重要な要素が評価から漏れ、ベンチマーク最適化が誤った開発優先や過信を招く恐れがある。
代替案としては、実運用に近い長期的・複合的タスク、分布シフト下での評価、効率・コスト指標、人間との協働成果やレッドチーミングを含む多面的な指標の導入、そしてベンチマークの動的更新と透明性が提案されている。
示唆としては、研究者や企業は評価基準を拡張して実装時の検証を重視する必要がある点、また投資や規制の判断も単一スコアに依存するリスクを見直す必要がある点が重要だ。評価インフラの整備が今後の課題となりそうだ。