OpenAIが「SWE-Bench Proの約30％が壊れている」と報告、AIのコーディング能力を測るベンチマークに大量の不備

2026.07.09 12:40

Livedoor.com

OpenAIは2026年7月8日、AIのコーディング能力を測るベンチマーク「SWE-Bench Pro」を詳細に調査した結果、タスクのおよそ30％に評価として成立しない問題があると報告しました。Separating signal from noise in coding evaluations | OpenAIhttps://openai.com/index/separating-signal-from-noise-coding-evaluations/SWE-Bench ProはAIにソフトウェアの機能変更課題…

記事全文へ

検索

人気記事

アンソロピック、評価額141兆円でOpenAI超えへ──人類史上最大の資金調達ラウンド（Forbes JAPAN） - Yahoo!ニュース

2026.05.05 11:04

Shokz、新型骨伝導式ワイヤレスイヤホン｢OpenRun Air 2｣を発表ｰよりコンパクトで軽量に

2026.09.16 1:06

「我們沒有 AI」竟成最強賣點！LibreOffice 26.8 下載破 200 萬創紀錄，免費 Office 為何這波大爆發（2026 完整解析）

2026.09.16 0:52

（朝）米国市場は3指数揃って下落　中東情勢悪化の懸念から原油価格が高騰し売り優勢の展開 - 市況概況 - 株式レポート

2026.09.16 8:09

OpenAIのAIエージェントがRubyGemsへの攻撃に関与か、2000件超のパッケージ投稿やAPIキー窃取の試みが判明

2026.09.14 14:15

コメント一覧

まだコメントはありません。

コメント