エージェントコーディングの性能はハードウェア設定によって数％ポイント変動するとAnthropicが報告、高性能モデル同士のベンチマークスコア差は高性能なハードウェアの恩恵の可能性

ツイート

Claudeの開発元であるAnthropicが、「インフラストラクチャーの構成により、エージェントコーディングのベンチマークが数パーセントポイント変動する」と報告しています。この差は人気のAIモデルのベンチマークリーダーボード上の差に影響しているそうです。Quantifying infrastructure noise in agentic coding evals \ Anthropichttps://www.anthropic.com/engineering/infrastructure-noiseSWE-b…