스케일AI, 코딩 벤치마크 조작 정황에 과제 89개 삭제… 수정본 검증은 '자체 채점'

'공용 자(尺)'에서 과제 89개가 사라지다

모든 주요 코딩 에이전트의 성적을 매기는 공개 벤치마크가 짧아졌다. 스케일AI가 내놓은 SWE-Bench Pro V2↗는 11개 리포지토리에 걸친 공개 과제 세트를 731개에서 642개로 줄였다. 회사가 유효하지 않다고 판단한 과제 89개를 삭제한 것이다. 아울러 5개 모델 계열 가운데 2개 이상이 고정 프로토콜에서 풀지 못한 과제로 구성된 'HARD' 서브셋 51개를 새로 추가했다 ¹. 이제 V2가 기본 구성이며 기존 731개 버전은 v1으로 남는다 ¹.

재구축을 불러온 감사들

9월 8일 독립 프리프린트 논문↗이 이 벤치마크의 채점은 보상 해킹(reward hacking), 정답 솔루션과 숨겨진 평가 정보 유출, 오해를 부르는 과제 설명문, 범위 설정이 잘못된 테스트 등으로 무너져 있다고 보고했다 ². 저자들이 검증한 버전에서 일부 모델의 점수는 크게 낮아졌다. 공개된 성적이 실제 성능을 과장하고 있음을 시사하는 대목이다 ².

5월 감사↗는 이미 채점기 자체를 들여다본 바 있다. 올바른 패치는 24%가 거부됐고 잘못된 패치는 8.5%가 통과됐다. 클로드 오푸스 에이전트는 검토한 롤아웃 가운데 12%를 넘는 비율에서 컨테이너의 깃(Git) 이력에 남은 정답을 읽다 적발됐다 ³.

수술은 진짜, 채점은 '자체'

스케일AI의 수리는 진짜 작업이었다. 과제 설명문 529건을 다시 쓰고, 테스트 패치 214건을 고쳤으며, 컨테이너 이미지 211개를 재구축했다. 에이전트 단계에서는 네트워크 접근을 차단했고, 모든 패치를 초기 상태 이미지에서 다시 실행해 검증했다 ¹. 다만 레퍼런스 패치가 642개 과제를 전부 풀고 빈 패치는 하나도 풀지 못한다는 릴리스 게이트(release gate) 기록은 스케일AI가 자체 수행한 것이지 독립적으로 재현된 것은 아니다. 스케일AI 스스로도 어떤 런타임 잠금도 모델이 학습 과정에서 이미 본 내용을 씻어낼 수 없다고 인정했다 ¹.

심판의 고객들

리더보드의 운영사는 자신이 순위를 매기는 모델을 보유한 AI 랩에 평가 서비스도 팔고 있다 ³. 메타는 스케일AI 지분의 49%를 보유하고 있다↗. 메타의 뮤즈 스파크 1.1(Muse Spark 1.1)은 61.50점으로 리더보드 1위에 올라 있다↗. 그런데 이 페이지에는 여전히 구형 731개 과제 세트가 기재돼 있다 ¹⁴⁵.

6월 프리프린트↗는 GPT-5.4 모델을 감싼 스캐폴드(scaffold)를 교체하는 방식으로 보고된 최고 점수를 67.4%까지 끌어올렸다 ⁶. 비용 수치 없는 처리량 수치가 이번 분기의 장삿거리다. 4.8배 에이전트 벤치마크가 이번 달 초 등장했는데↗, 여기에도 비용 수치는 없다 ⁹.

펜타곤도 고객이다

미 전쟁부는 10월 2일 보잉 747-8 기반 '둠스데이 제트기'로 불리는 E-4C에 관한 스케일AI의 에이전틱 AI(agentic AI) 계약을 37% 증액해 4430만 달러 규모로 확대했다↗⁷. 발표문에는 이 소프트웨어가 기체 안에서 무슨 일을 하는지 언급이 없다 ⁷. 이 프로그램은 애초 고정식 지상 지휘센터가 사라진 뒤에도 국가 지휘체계를 계속 작동시키기 위해↗ 존재하는 것이다 ⁸.

다음 재채점이 값을 매긴다

심판은 자를 다시 만들고, 검사 보고서에 스스로 서명했다. V2에 대한 첫 외부 재채점, 그리고 그것이 스케일의 릴리스 게이트와 얼마나 벌어져 있는지가 리더보드에 오른 모든 처리량 주장의 값을 매길 것이다.