OpenAIがソフトウェア開発ベンチマークを発表

2025.03.18 16:31

InfoQ.com

OpenAIは、実世界のフリーランスのソフトウェア開発タスクで先進的なAI言語モデルの能力を評価するためのSWE-Lancerベンチマークを発表した。このベンチマークはUpworkから提供された1,400以上のタスクのデータセットを使用しており、その総額は100万ドルである。これらのタスクには独立したコーディング活動と管理的意思決定の両方が含まれ、複雑さと報酬の範囲が実世界のフリーランスのシナリオをシミュレートするように設計されている。 By Daniel Dominguez Translated by Hiro…

記事全文へ

検索

人気記事

米俳優組合、ハロウィーンにバービーやマーベル仮装しないで組合員に勧告

2023.10.21 12:24

ウイングアーク１ｓｔ株式会社将軍ジャパンが、invoiceAgentを導入し請求書承認業務を電子化、電帳法対応をはかり承認期間を4分の1に短縮～AI OCRとUiPathの連携で、営業日報の入力作業を自動化～

2023.10.19 11:08

新卒学生の特性マッチング求人サイト「Future Finder(R) 」に、自己PR＆志望動機の作成・添削サービス「就活AI」の機能を実装

2023.10.19 11:20

dbt-athenaでHIVEテーブルに一度に100を超えるパーティションの書き込みができるか確認してみた

2023.11.05 14:16

株式会社スキルベースAI時代の必須スキル「課題発見力」を鍛え、測定する「課題発見の達人」を11月１日リリース！

2023.10.19 9:56

コメント一覧

まだコメントはありません。

コメント