OpenAIが「SWE-Bench Proの約30％が壊れている」と報告、AIのコーディング能力を測るベンチマークに大量の不備

2026.07.09 12:40

Livedoor.com

OpenAIは2026年7月8日、AIのコーディング能力を測るベンチマーク「SWE-Bench Pro」を詳細に調査した結果、タスクのおよそ30％に評価として成立しない問題があると報告しました。Separating signal from noise in coding evaluations | OpenAIhttps://openai.com/index/separating-signal-from-noise-coding-evaluations/SWE-Bench ProはAIにソフトウェアの機能変更課題…

記事全文へ

検索

人気記事

アンソロピック、評価額141兆円でOpenAI超えへ──人類史上最大の資金調達ラウンド（Forbes JAPAN） - Yahoo!ニュース

2026.05.05 11:04

小中学校の情報分野の新たな学び再来年以降前倒し実施へ

2026.07.08 21:02

「スクリプトキディ」から転じた、AIを悪用して攻撃プログラムを生成する「プロンプトキディ」とは？【やじうまWatch】

2026.07.08 11:58

OpenAI Secure MCP TunnelでAWS認証情報を渡さずにChatGPTから操作する

2026.07.08 16:07

ChatGPTの音声モードが進化、聞きながら話せるように--同時通訳も可能「GPT-Live-1」公開

2026.07.09 5:15

コメント一覧

まだコメントはありません。

コメント