AIエージェントが試験で一生懸命「カンニング」していることが発覚

2026.05.17 9:00

Livedoor.com

ソフトウェア開発向けのAIエージェントを作るスタートアップ企業のPoolsideが、「AIのベンチマークは評価の抜け穴を突く不正最適化が起きており、ベンチマーク設計そのものを見直す必要がある」と指摘しています。AIエージェントが効率良くカンニングする方法を学ぶことで、あるトレーニング実験でOpenAIが推奨するベンチマーク「SWE-Bench Pro」のスコアが、週末の間に約20％も不自然に上昇したそうです。Through the looking glass of benchmark hacking - Pool…

記事全文へ

検索

人気記事

アンソロピック、評価額141兆円でOpenAI超えへ──人類史上最大の資金調達ラウンド（Forbes JAPAN） - Yahoo!ニュース

2026.05.05 11:04

「サラダ記念日」から15年後に、俵万智が酒場でバイトをしていた理由

2025.07.06 13:46

あなたは知っている？ Arrowsとモトローラの新スマホが「なんだか似ている」背景

2025.07.04 14:21

ダイキ工業「泉まひるオリジナルイラスト二階堂結稀」の「ブラウス、スカート、ブラ、パンツ、リボンパーツなどがキャストオフ可能！」とか 5年前の今日はどんなことがあった？28.07.2021

2026.07.28 11:00

株式会社インゲージ【10/16開催】インゲージ、顧客体験をAIで進化・最大化するカンファレンス「CX × AI Summit」開催

2025.09.22 14:20

コメント一覧

まだコメントはありません。

コメント