---
title: "Nanonets自家基准测试：最强AI智能体多步骤企业任务完成率仅38%"
description: "未上市的文档AI公司Nanonets，旗下平台为超过1万个团队自动处理文书。该公司发布一项公开基准测试，考察AI系统在埋藏于对话中的规则约束下执行财务流程的能力，成绩最好的系统也只完全答对38%的任务。对照2026年预计高达2.7万亿美元的AI支出，这是一次罕见的行业内部实测，衡量企业智能体究竟交付了什么。"
publisher: "The Inference"
section: "Platforms"
published: 2026-10-14T21:08:10.037Z
modified: 2026-10-14T21:08:10.037Z
canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/zh-CN
language: zh-CN
keywords: "AI Agents, Benchmarks, Enterprise Software, Document AI, Finance Automation"
---

# Nanonets自家基准测试：最强AI智能体多步骤企业任务完成率仅38%

> 未上市的文档AI公司Nanonets，旗下平台为超过1万个团队自动处理文书。该公司发布一项公开基准测试，考察AI系统在埋藏于对话中的规则约束下执行财务流程的能力，成绩最好的系统也只完全答对38%的任务。对照2026年预计高达2.7万亿美元的AI支出，这是一次罕见的行业内部实测，衡量企业智能体究竟交付了什么。

## 这个数字自7月起便已公开

[Nanonets](https://nanonets.com/research)能找到的最好AI系统，也只能完全答对38%的多步骤企业流程任务。这个数字位于旧金山未上市文档AI公司Nanonets的研究页面上，挂在[一项公开发布的基准测试](https://nanonets.com/research/trace)——TRACE（Task-Relevant Applied Constraint Execution，任务相关应用约束执行）——名下[1]。它是2026年预计2.7万亿美元AI支出背后工作的一道天花板[3]。报告标题直接点明结论：模型找得到规则，却无法应用[2]。

该数据集与评分代码最近一次更新是在2026年7月22日[6][7]。2026年10月14日的新闻和网络检索显示，尚无任何媒体报道过这一结果。

## 真金白银押的是相反结果

高德纳（Gartner）称，各类软件厂商都在“[迅速将智能体AI嵌入](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/)”自家现有产品[3]。Nanonets则称，已有超过1万个团队在其平台上运行发票匹配、理赔和月末结账[4]。如果最好的系统也只能通过38%的流程任务，大多数已列入预算的自动化工作，交回来时仍是错的，或者干脆又退回到人手上。

如果38%站得住脚，就会有两方输家：凭厂商说法就部署智能体的企业，以及按后台近乎全面自动化来定价的软件收入模式。赢家则是率先发布远高于此、且经核验的执行分数的一方。

## 打分的裁判，自己也在卖智能体

Nanonets并非中立的裁判。它给整个行业打分：既运营TRACE，也运营[一份收录29个智能文档处理模型的公开排行榜](https://www.idp-leaderboard.org/)，自家OCR-3高居第一[1][5]。与此同时，它还在向这个行业销售产品：一篇宣传“AI原生”平台、与老牌厂商ABBYY和Kofax对垒的博文[4]，以及一条为Trail挂出的横幅广告——Trail自称“AI智能体的公司大脑”[1]。

## 这项测试考什么

TRACE刻意从严。每份样本是一段“记录到报告”对话，即月末结账过程中的往来沟通，文本长约10万个token，公司规则就埋在半句话里。5份样本共包含47道题目，按388项标准评分，计分方式为“全对才通过”：只有答案正确、且所有适用规则都得到遵守，任务才算通过。评分由另一个AI模型完成，样本设置中指定的评分模型是GPT-5.5[6]。

## 读文档能拿80多分，执行只有38分

在Nanonets自家的文档排行榜上，同一批模型读文档的表现要可靠得多：Nanonets OCR-3综合得分85.9，[OpenAI](https://theinference.org/markets/companies/openai)的GPT-5.4为83.5，谷歌的Gemini-3-Pro为82.8[5]。对采购方而言，两组分数放在一起意味着：一个模型100次里约有86次能读懂一页文档，可按公司规则执行多步流程时，大多数仍以失败告终[1]。

*Chart: **读懂文档几乎不成问题，最高执行得分只有38** 柱状图：对比四个模型80多分的文档阅读基准得分与TRACE上38%的最高流程执行得分*

*Nanonets IDP排行榜综合得分（三项文档基准测试的平均分，数据截至2026年10月14日）对比TRACE上最高的task_pass_rate（47项流程任务全部做对的占比，按“全对才通过”计分；数据集更新于2026年7月22日）。资料来源：Nanonets Research [1]；IDP排行榜 [5]。 [1][5]*

## 基准测试规模小，发布方利益相关

这些局限确实存在：5份样本、47道题、只有一种上下文长度；发布方是一家有智能体要卖的厂商，评分由机器完成[6]。不过，[该数据集以CC-BY-4.0协议开放](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset)，评估代码放在GitHub上，任何人都可以重跑受测的各家系统，而不必只信这个数字[6][7]。但几乎没有人这么做：数据集卡片显示，过去一个月的下载量只有44次[6]；代码仓库有39个star、没有fork[7]；相比之下，Nanonets自家OCR模型的下载量已达28.8万次[8]。

*Chart: **几乎无人重跑这项基准测试：44次下载对Nanonets自家模型的28.8万次** 柱状图显示：TRACE基准测试数据集月下载量44次、其GitHub评估代码仓库39个star、Nanonets的OCR-3模型下载量28.8万次*

*外界对基准测试与对厂商自家模型的关注度对比：TRACE数据集过去一个月的下载量（Hugging Face，2026年10月14日读取）、评估代码仓库的star数（GitHub，无fork），以及Nanonets自家OCR模型的下载量（Hugging Face）。资料来源：Hugging Face [6]；GitHub [7]；Hugging Face [8]。 [6][7][8]*

## 盯住GitHub上的合并请求

下一个数字自带时间戳、完全公开：[新系统的成绩都通过GitHub合并请求（pull request）提交](https://github.com/NanoNets/trace-benchmark)[7]。迄今还没有人公布远高于38、且经过核验的成绩。在那之前，编制企业智能体预算，站得住脚的口径只有一条：大多数多步骤流程任务，在行业自家的测试上过不了关。

## Takeaway

厂商自行发布的公开基准测试显示，最好的AI系统对多步骤企业流程任务的完全完成率也仅有38%，而同一批模型的文档阅读得分已达80多分；在经验证的更高分数进入公开代码仓库之前，企业智能体的预算都建立在这个无人打破的数字之上。

## Sources

1. [Nanonets, Research index page, accessed 14 October 2026](https://nanonets.com/research)
2. [Nanonets Research, TRACE benchmark page: LLMs search & retrieve rules, but still don't apply them, accessed 14 October 2026](https://nanonets.com/research/trace)
3. [BigDATAwire, Gartner Forecasts Worldwide AI Spending to Grow 49.5% in 2026, 18 September 2026](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/)
4. [Nanonets, Blog index (AI Agents for Enterprise Data Processing), accessed 14 October 2026](https://nanonets.com/blog/)
5. [IDP Leaderboard, Intelligent Document Processing Leaderboard, accessed 14 October 2026](https://www.idp-leaderboard.org/)
6. [Hugging Face, nanonets/trace-benchmark-dataset dataset card, updated 22 July 2026](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset)
7. [GitHub, NanoNets/trace-benchmark evaluation code and submission repo, last commit 22 July 2026](https://github.com/NanoNets/trace-benchmark)
8. [Hugging Face, nanonets organization page, accessed 14 October 2026](https://huggingface.co/nanonets)


---

Nanonets自家基准测试：最强AI智能体多步骤企业任务完成率仅38% — The Inference. Canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/zh-CN