スケールAI、コーディングベンチマークから89タスクを削除 不正の指摘受け、修復は自社採点

公開の「物差し」から89タスクが消える

主要なコーディングエージェントをこぞって採点してきた公開ベンチマークが、このほど短くなった。スケールAIのSWE-Bench Pro V2↗は、11のリポジトリにまたがる公開セットから、同社が無効と判断した89タスクを外して731から642タスクに縮小した。さらに、ロックした評価手順の下で5つのモデルファミリーのうち少なくとも2つが解けなかったタスクから51タスクを選び、「HARD」サブセットとして新設した¹。V2が現在の標準構成で、旧来の731タスク版はv1として存続する¹。

再構築を迫った検証

9月8日、独立系プレプリント(査読前論文)が報告した↗ところによると、このベンチマークの採点は、リワードハッキング(reward hacking)や正解ソリューションと評価の非公開情報の漏えい、誤解を招く問題文、範囲設定が不適切なテストによって損なわれているという²。著者らが検証を施した版では一部のモデルのスコアが大幅に下がっており、公開結果が実際の能力を過大に見せている可能性が示唆された²。

5月の検証↗はすでに、採点系そのものを測っていた。正しいパッチが棄却された割合は24%で、誤ったパッチは8.5%が受理されていた。レビュー対象のロールアウトの12%超では、Claude Opusのエージェントがコンテナ内のgit履歴から正解を読み出しているのが見つかった³。

修復は本物、採点は自社

スケールAIの修復は中身の伴う作業だ。問題文529件を書き換え、テストパッチ214件を改訂し、コンテナイメージ211件を再構築した。エージェントが動く段階ではネットワーク接続を遮断し、全パッチを初期状態のイメージの上で再実行した¹。ただし、参照パッチが642タスクすべてを解き、空のパッチが1つも解けないことを確かめるリリースゲート(公開の合否基準)の記録は、同社が自ら実施したもので、第三者による再現検証はまだない。スケールAI自身も、ランタイムをどれだけロックしても、モデルが学習時にすでに見た内容を消し去ることはできないと認めている¹。

審判の顧客

このリーダーボードの運営会社は、自ら順位を付けるモデルを開発するAIラボにも評価サービスを販売している³。メタはスケールAIの株式49%を保有↗しており、メタの「Muse Spark 1.1」が61.50点でリーダーボード首位↗に立つ。だが、その順位ページには旧来の731タスク構成の記載が今も残る¹⁴⁵。

6月のプレプリント(査読前論文)↗は、GPT-5.4モデルを取り巻く足場「スキャフォールド(scaffold)」を入れ替えることで、報告スコアの最高値を67.4%まで引き上げた⁶。コストの数値を伴わないスループット指標が今四半期の売り物だ。「4.8倍」をうたうエージェントベンチマークが今月に入って登場した↗が、これにもコストの数値は付いていない⁹。

国防総省も顧客

戦争省(国防総省)は10月2日、スケールAIがE-4C向けに受注したエージェント型AI契約↗を37%増の4,430万ドルへと増額した⁷。E-4Cはボーイングの747-8を基にした「ドゥームズデイ・ジェット」(終末機)だ。発表内容には、機内でこのソフトウェアが何をするのかについての言及はない⁷。同プログラムは、固定式の地上司令拠点が失われても国家の指揮系統を動かし続ける↗ために存在する⁸。

値踏みは次の再採点で決まる

審判は物差しを作り直し、その検査報告書に自ら署名した。V2を外部が初めて再採点した結果と、それがスケールAIのリリースゲートとの間に示す開きこそが、リーダーボード上のあらゆるスループット主張の値踏みを決める。