최고 성능 AI 에이전트도 다단계 기업 업무 38%만 완수…Nanonets 자체 벤치마크 결과
비상장 문서 AI 기업 Nanonets가 대화 속에 파묻힌 규칙 아래 AI가 재무 프로세스를 수행하는 능력을 가늠하는 공개 벤치마크를 내놨다. 이 회사 플랫폼에서 서류 작업을 자동화하는 팀은 1만 개가 넘는다. 최고 성적은 과제를 온전히 해낸 비율 38%였다. 2026년 2조7000억 달러로 전망되는 AI 지출과 맞서 볼 때, 기업용 에이전트가 실제로 내놓는 성과에 대한 업계 내부의 드문 측정이다.
Vincent Jiang · 3 min read
7월부터 공개돼 있는 숫자 하나
Nanonets가 찾아낼 수 있는 최고 성능 AI 시스템도 다단계 기업 프로세스 과제를 온전히 완수하는 비율은 38%에 불과하다. 이 숫자는 미국 샌프란시스코의 비상장 문서 AI 기업 Nanonets가 리서치 페이지에 올린 공개 벤치마크 TRACE(Task-Relevant Applied Constraint Execution)에 적혀 있다 1. 2026년 2조7000억 달러로 전망되는 AI 지출이 사려는 실제 업무의 상한선이다 3. 보고서 제목이 결론을 그대로 말한다. 모델은 규칙을 찾아내고, 정작 적용에는 실패한다 2.
데이터셋과 채점 코드의 마지막 갱신은 2026년 7월 22일이다 67. 2026년 10월 14일 뉴스와 웹 검색에서 이 결과를 보도한 매체는 찾을 수 없었다.
예산은 정반대를 전제한다
가트너는 모든 부문의 소프트웨어 벤더가 기존 제품에 "빠르게 에이전틱 AI를 심어 넣고" 있다고 전망했다 3. Nanonets에 따르면 이미 1만 개 넘는 팀이 이 회사 플랫폼에서 송장 매칭, 클레임 처리, 월말 마감 업무를 돌리고 있다 4. 최고 성능 시스템이 프로세스 과제의 38%만 통과한다면 예산이 잡힌 자동화 업무 대부분은 여전히 잘못된 결과로 돌아오거나 사람 손으로 넘어온다.
38%가 사실이라면 지는 쪽은 둘이다. 벤더 주장만 믿고 에이전트를 도입하는 기업, 그리고 백오피스가 거의 완전히 자동화될 것을 전제로 가격을 매긴 소프트웨어 매출 모델이다. 승자는 이보다 훨씬 높은 검증된 수행 점수를 가장 먼저 내거는 쪽이다.
채점자는 에이전트도 판다
Nanonets는 중립적인 심판이 아니다. 시장 전체에 점수를 매긴다. TRACE와 지능형 문서 처리(IDP) 모델 29개를 순위 매기는 공개 리더보드를 운영하며, 자사 OCR-3는 그 1위에 있다 15. 동시에 그 시장에서 장사도 한다. 레거시 벤더 ABBYY와 Kofax에 맞서 'AI 네이티브' 플랫폼을 내세우는 마케팅 블로그가 있고 4, 'AI 에이전트를 위한 기업의 두뇌'를 표방하는 Trail 배너도 걸려 있다 1.
테스트가 요구하는 것
TRACE는 일부러 가혹하게 만들었다. 샘플 하나하나는 월말 회계 마감에서 오가는 레코드-투-리포트(Record-to-Report) 대화로, 텍스트 길이만 약 10만 토큰에 이르고 회사 규칙은 문장 중간에 불쑥 끼워 넣는다. 샘플은 모두 5개이며, 여기에 딸린 47개 문항을 388개 기준으로 채점한다. 방식은 올오어낫싱(all-or-nothing)이다. 답이 맞고 적용되는 규칙을 하나도 빠뜨리지 않아야만 과제 하나가 통과한다. 채점은 별도의 AI 모델이 맡으며, 샘플 설정에는 GPT-5.5가 지정돼 있다 6.
읽기는 80점대…실행은 38점
Nanonets가 자체 운영하는 문서 리더보드에서는 같은 모델들이 페이지를 훨씬 확실하게 읽어낸다. 종합 점수는 Nanonets OCR-3가 85.9점, 오픈AI$1.18T — 오픈AI, private, latest valuation $1.18T의 GPT-5.4가 83.5점, 구글의 Gemini-3-Pro가 82.8점이다 5. 구매자 입장에서 두 점수를 나란히 놓으면 이렇다. 100번 중 약 86번은 페이지를 정확히 읽어내는 모델도, 회사 규칙 아래에서 수행하는 다단계 프로세스 대부분에서는 실패한다는 뜻이다 1.
문서 읽기는 거의 해결…최고 실행 점수는 38
Data
| Value | |
|---|---|
| Nanonets OCR-3 (읽기) | 85.9% |
| GPT-5.4 (읽기) | 83.5% |
| Gemini-3-Pro (읽기) | 82.8% |
| Claude Sonnet 4.6 (읽기) | 80.7% |
| 테스트된 최고 시스템 (실행, TRACE) | 38% |
작은 벤치마크…운영 주체는 이해관계자
한계는 분명하다. 샘플은 5개, 문항은 47개, 컨텍스트 크기도 한 가지뿐이다. 에이전트를 팔아야 하는 벤더가 직접 공개했고 채점도 기계가 맡는다 6. 그래도 데이터셋은 CC-BY-4.0 라이선스로 공개돼 있고 평가 코드도 깃허브에 올라와 있어, 누구든 이 숫자를 믿는 대신 경쟁 모델 전체를 직접 다시 돌려볼 수 있다 67. 그러나 실제로 그렇게 한 곳은 거의 없다. 데이터셋 카드를 보면 최근 한 달 다운로드는 44건이다 6. 저장소에는 스타 39개가 달렸을 뿐 포크는 없다 7. 반면 Nanonets 자체 OCR 모델의 다운로드는 28만8000건에 달한다 8.
벤치마크를 다시 돌려본 곳은 거의 없다…다운로드 44건 대 Nanonets 자체 모델 28만8000건
Data
| 월간 다운로드 수(데이터셋) / 스타 수(저장소) / 다운로드 수(모델) | |
|---|---|
| TRACE 벤치마크 데이터셋(허깅페이스) | 44 |
| TRACE 평가 저장소(깃허브) | 39 |
| Nanonets OCR-3 모델(허깅페이스) | 288,000 |
풀 리퀘스트를 주목하라
다음 측정치는 날짜가 찍힌 공개 기록으로 남는다. 새 시스템 제출은 깃허브 풀 리퀘스트로 접수된다 7. 그런데 아직 38%를 크게 웃도는 검증된 점수는 올라온 적이 없다. 그 전까지 기업용 에이전트 예산을 방어할 수 있는 근거는 하나뿐이다. 다단계 프로세스 작업 대부분이 업계 자체 테스트에서 실패한다는 것.
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
