---
title: "최고 성능 AI 에이전트도 다단계 기업 업무 38%만 완수…Nanonets 자체 벤치마크 결과"
description: "비상장 문서 AI 기업 Nanonets가 대화 속에 파묻힌 규칙 아래 AI가 재무 프로세스를 수행하는 능력을 가늠하는 공개 벤치마크를 내놨다. 이 회사 플랫폼에서 서류 작업을 자동화하는 팀은 1만 개가 넘는다. 최고 성적은 과제를 온전히 해낸 비율 38%였다. 2026년 2조7000억 달러로 전망되는 AI 지출과 맞서 볼 때, 기업용 에이전트가 실제로 내놓는 성과에 대한 업계 내부의 드문 측정이다."
publisher: "The Inference"
section: "Platforms"
published: 2026-10-14T21:08:10.037Z
modified: 2026-10-14T21:08:10.037Z
canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/ko
language: ko
keywords: "AI Agents, Benchmarks, Enterprise Software, Document AI, Finance Automation"
---

# 최고 성능 AI 에이전트도 다단계 기업 업무 38%만 완수…Nanonets 자체 벤치마크 결과

> 비상장 문서 AI 기업 Nanonets가 대화 속에 파묻힌 규칙 아래 AI가 재무 프로세스를 수행하는 능력을 가늠하는 공개 벤치마크를 내놨다. 이 회사 플랫폼에서 서류 작업을 자동화하는 팀은 1만 개가 넘는다. 최고 성적은 과제를 온전히 해낸 비율 38%였다. 2026년 2조7000억 달러로 전망되는 AI 지출과 맞서 볼 때, 기업용 에이전트가 실제로 내놓는 성과에 대한 업계 내부의 드문 측정이다.

## 7월부터 공개돼 있는 숫자 하나

[Nanonets](https://nanonets.com/research)가 찾아낼 수 있는 최고 성능 AI 시스템도 다단계 기업 프로세스 과제를 온전히 완수하는 비율은 38%에 불과하다. 이 숫자는 미국 샌프란시스코의 비상장 문서 AI 기업 Nanonets가 리서치 페이지에 올린 [공개 벤치마크](https://nanonets.com/research/trace) TRACE(Task-Relevant Applied Constraint Execution)에 적혀 있다 [1]. 2026년 2조7000억 달러로 전망되는 AI 지출이 사려는 실제 업무의 상한선이다 [3]. 보고서 제목이 결론을 그대로 말한다. 모델은 규칙을 찾아내고, 정작 적용에는 실패한다 [2].

데이터셋과 채점 코드의 마지막 갱신은 2026년 7월 22일이다 [6][7]. 2026년 10월 14일 뉴스와 웹 검색에서 이 결과를 보도한 매체는 찾을 수 없었다.

## 예산은 정반대를 전제한다

가트너는 모든 부문의 소프트웨어 벤더가 기존 제품에 "[빠르게 에이전틱 AI를 심어 넣고](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/)" 있다고 전망했다 [3]. Nanonets에 따르면 이미 1만 개 넘는 팀이 이 회사 플랫폼에서 송장 매칭, 클레임 처리, 월말 마감 업무를 돌리고 있다 [4]. 최고 성능 시스템이 프로세스 과제의 38%만 통과한다면 예산이 잡힌 자동화 업무 대부분은 여전히 잘못된 결과로 돌아오거나 사람 손으로 넘어온다.

38%가 사실이라면 지는 쪽은 둘이다. 벤더 주장만 믿고 에이전트를 도입하는 기업, 그리고 백오피스가 거의 완전히 자동화될 것을 전제로 가격을 매긴 소프트웨어 매출 모델이다. 승자는 이보다 훨씬 높은 검증된 수행 점수를 가장 먼저 내거는 쪽이다.

## 채점자는 에이전트도 판다

Nanonets는 중립적인 심판이 아니다. 시장 전체에 점수를 매긴다. TRACE와 [지능형 문서 처리(IDP) 모델 29개를 순위 매기는 공개 리더보드](https://www.idp-leaderboard.org/)를 운영하며, 자사 OCR-3는 그 1위에 있다 [1][5]. 동시에 그 시장에서 장사도 한다. 레거시 벤더 ABBYY와 Kofax에 맞서 'AI 네이티브' 플랫폼을 내세우는 마케팅 블로그가 있고 [4], 'AI 에이전트를 위한 기업의 두뇌'를 표방하는 Trail 배너도 걸려 있다 [1].

## 테스트가 요구하는 것

TRACE는 일부러 가혹하게 만들었다. 샘플 하나하나는 월말 회계 마감에서 오가는 레코드-투-리포트(Record-to-Report) 대화로, 텍스트 길이만 약 10만 토큰에 이르고 회사 규칙은 문장 중간에 불쑥 끼워 넣는다. 샘플은 모두 5개이며, 여기에 딸린 47개 문항을 388개 기준으로 채점한다. 방식은 올오어낫싱(all-or-nothing)이다. 답이 맞고 적용되는 규칙을 하나도 빠뜨리지 않아야만 과제 하나가 통과한다. 채점은 별도의 AI 모델이 맡으며, 샘플 설정에는 GPT-5.5가 지정돼 있다 [6].

## 읽기는 80점대…실행은 38점

Nanonets가 자체 운영하는 문서 리더보드에서는 같은 모델들이 페이지를 훨씬 확실하게 읽어낸다. 종합 점수는 Nanonets OCR-3가 85.9점, [오픈AI](https://theinference.org/markets/companies/openai)의 GPT-5.4가 83.5점, 구글의 Gemini-3-Pro가 82.8점이다 [5]. 구매자 입장에서 두 점수를 나란히 놓으면 이렇다. 100번 중 약 86번은 페이지를 정확히 읽어내는 모델도, 회사 규칙 아래에서 수행하는 다단계 프로세스 대부분에서는 실패한다는 뜻이다 [1].

*Chart: **문서 읽기는 거의 해결…최고 실행 점수는 38** 네 모델의 문서 읽기 벤치마크 점수(80점대)와 TRACE 최고 프로세스 실행 점수 38%를 비교한 막대그래프*

*Nanonets IDP Leaderboard 종합 점수(문서 벤치마크 3종 평균, 2026년 10월 14일 확인)와 TRACE 최고 task_pass_rate(올오어낫싱 채점 기준 47개 프로세스 과제를 완전히 정답 처리한 비율, 데이터셋은 2026년 7월 22일 업데이트) 비교. 출처: Nanonets Research [1], IDP Leaderboard [5]. [1][5]*

## 작은 벤치마크…운영 주체는 이해관계자

한계는 분명하다. 샘플은 5개, 문항은 47개, 컨텍스트 크기도 한 가지뿐이다. 에이전트를 팔아야 하는 벤더가 직접 공개했고 채점도 기계가 맡는다 [6]. 그래도 [데이터셋은 CC-BY-4.0 라이선스로 공개돼 있고](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset) 평가 코드도 깃허브에 올라와 있어, 누구든 이 숫자를 믿는 대신 경쟁 모델 전체를 직접 다시 돌려볼 수 있다 [6][7]. 그러나 실제로 그렇게 한 곳은 거의 없다. 데이터셋 카드를 보면 최근 한 달 다운로드는 44건이다 [6]. 저장소에는 스타 39개가 달렸을 뿐 포크는 없다 [7]. 반면 Nanonets 자체 OCR 모델의 다운로드는 28만8000건에 달한다 [8].

*Chart: **벤치마크를 다시 돌려본 곳은 거의 없다…다운로드 44건 대 Nanonets 자체 모델 28만8000건** TRACE 벤치마크 데이터셋의 월간 다운로드 44건, 깃허브 평가 저장소의 스타 39개, Nanonets OCR-3 모델의 다운로드 28만8000건을 비교해 보여주는 세로 막대그래프*

*벤치마크와 벤더 자체 모델에 향한 관심의 대비: TRACE 데이터셋의 최근 한 달 다운로드 수(허깅페이스, 2026년 10월 14일 기준), 평가 저장소의 스타 수(깃허브, 포크 없음), Nanonets OCR 모델의 다운로드 수(허깅페이스). 자료: 허깅페이스 [6]; 깃허브 [7]; 허깅페이스 [8]. [6][7][8]*

## 풀 리퀘스트를 주목하라

다음 측정치는 날짜가 찍힌 공개 기록으로 남는다. [새 시스템 제출은 깃허브 풀 리퀘스트로 접수된다](https://github.com/NanoNets/trace-benchmark) [7]. 그런데 아직 38%를 크게 웃도는 검증된 점수는 올라온 적이 없다. 그 전까지 기업용 에이전트 예산을 방어할 수 있는 근거는 하나뿐이다. 다단계 프로세스 작업 대부분이 업계 자체 테스트에서 실패한다는 것.

## Takeaway

벤더가 공개한 오픈 벤치마크의 결론은 최고 성능 AI 시스템도 다단계 기업 프로세스 과제를 온전히 완수하는 비율은 38%에 불과하다는 것이다. 문서 읽기에서는 같은 모델들이 80점대를 기록한다. 검증된 더 높은 점수가 공개 저장소에 등장하기 전까지 기업용 에이전트 예산은 아무도 깨지 못한 숫자 위에 세워져 있다.

## Sources

1. [Nanonets, Research index page, accessed 14 October 2026](https://nanonets.com/research)
2. [Nanonets Research, TRACE benchmark page: LLMs search & retrieve rules, but still don't apply them, accessed 14 October 2026](https://nanonets.com/research/trace)
3. [BigDATAwire, Gartner Forecasts Worldwide AI Spending to Grow 49.5% in 2026, 18 September 2026](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/)
4. [Nanonets, Blog index (AI Agents for Enterprise Data Processing), accessed 14 October 2026](https://nanonets.com/blog/)
5. [IDP Leaderboard, Intelligent Document Processing Leaderboard, accessed 14 October 2026](https://www.idp-leaderboard.org/)
6. [Hugging Face, nanonets/trace-benchmark-dataset dataset card, updated 22 July 2026](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset)
7. [GitHub, NanoNets/trace-benchmark evaluation code and submission repo, last commit 22 July 2026](https://github.com/NanoNets/trace-benchmark)
8. [Hugging Face, nanonets organization page, accessed 14 October 2026](https://huggingface.co/nanonets)


---

최고 성능 AI 에이전트도 다단계 기업 업무 38%만 완수…Nanonets 자체 벤치마크 결과 — The Inference. Canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/ko