OpenAIがソフトウェア開発ベンチマークを発表

2025.03.18 16:31

InfoQ.com

OpenAIは、実世界のフリーランスのソフトウェア開発タスクで先進的なAI言語モデルの能力を評価するためのSWE-Lancerベンチマークを発表した。このベンチマークはUpworkから提供された1,400以上のタスクのデータセットを使用しており、その総額は100万ドルである。これらのタスクには独立したコーディング活動と管理的意思決定の両方が含まれ、複雑さと報酬の範囲が実世界のフリーランスのシナリオをシミュレートするように設計されている。 By Daniel Dominguez Translated by Hiro…

記事全文へ

検索

人気記事

株式会社ナレッジセンス企業向けChatGPT、社内データ学習できる「ChatSense」が自治体向けRAGの実証キャンペーン開始

2025.06.05 11:03

OpenAI、ChatGPT Plus以上のユーザーにOutlookやTeam, Google Drive、GmailなどとのDeep Researchコネクタ(Beta)と、MCPを利用したカスタムコネクタの提供を開始。

2025.06.05 7:28

ChatGPT、OutlookやGmailからdeep researchする「コネクタ」　会議録音も

2025.06.05 10:57

ChatGPTに「おいこのチー牛野郎」と煽りを入れつつレスバを挑んだ結果フルボッコにされた挙げ句に「AIは逃げません。人間が勝ち抜けするだけです」という名言が生まれる

2025.06.05 9:56

チャッピー(ChatGPT)にダイエット中の食事管理をしてもらっているが『ケンタッキー食べたい』と言ったら『まず衣をオフ！』って言われたのでケンカになった

2025.06.05 9:34

コメント一覧

まだコメントはありません。

コメント