Nanonets自家基准测试：最强AI智能体多步骤企业任务完成率仅38%
未上市的文档AI公司Nanonets，旗下平台为超过1万个团队自动处理文书。该公司发布一项公开基准测试，考察AI系统在埋藏于对话中的规则约束下执行财务流程的能力，成绩最好的系统也只完全答对38%的任务。对照2026年预计高达2.7万亿美元的AI支出，这是一次罕见的行业内部实测，衡量企业智能体究竟交付了什么。
Vincent Jiang · 3 min read
这个数字自7月起便已公开
Nanonets能找到的最好AI系统，也只能完全答对38%的多步骤企业流程任务。这个数字位于旧金山未上市文档AI公司Nanonets的研究页面上，挂在一项公开发布的基准测试——TRACE（Task-Relevant Applied Constraint Execution，任务相关应用约束执行）——名下1。它是2026年预计2.7万亿美元AI支出背后工作的一道天花板3。报告标题直接点明结论：模型找得到规则，却无法应用2。
该数据集与评分代码最近一次更新是在2026年7月22日67。2026年10月14日的新闻和网络检索显示，尚无任何媒体报道过这一结果。
真金白银押的是相反结果
高德纳（Gartner）称，各类软件厂商都在“迅速将智能体AI嵌入”自家现有产品3。Nanonets则称，已有超过1万个团队在其平台上运行发票匹配、理赔和月末结账4。如果最好的系统也只能通过38%的流程任务，大多数已列入预算的自动化工作，交回来时仍是错的，或者干脆又退回到人手上。
如果38%站得住脚，就会有两方输家：凭厂商说法就部署智能体的企业，以及按后台近乎全面自动化来定价的软件收入模式。赢家则是率先发布远高于此、且经核验的执行分数的一方。
打分的裁判，自己也在卖智能体
Nanonets并非中立的裁判。它给整个行业打分：既运营TRACE，也运营一份收录29个智能文档处理模型的公开排行榜，自家OCR-3高居第一15。与此同时，它还在向这个行业销售产品：一篇宣传“AI原生”平台、与老牌厂商ABBYY和Kofax对垒的博文4，以及一条为Trail挂出的横幅广告——Trail自称“AI智能体的公司大脑”1。
这项测试考什么
TRACE刻意从严。每份样本是一段“记录到报告”对话，即月末结账过程中的往来沟通，文本长约10万个token，公司规则就埋在半句话里。5份样本共包含47道题目，按388项标准评分，计分方式为“全对才通过”：只有答案正确、且所有适用规则都得到遵守，任务才算通过。评分由另一个AI模型完成，样本设置中指定的评分模型是GPT-5.56。
读文档能拿80多分，执行只有38分
在Nanonets自家的文档排行榜上，同一批模型读文档的表现要可靠得多：Nanonets OCR-3综合得分85.9，OpenAI$1.18T — OpenAI, private, latest valuation $1.18T的GPT-5.4为83.5，谷歌的Gemini-3-Pro为82.85。对采购方而言，两组分数放在一起意味着：一个模型100次里约有86次能读懂一页文档，可按公司规则执行多步流程时，大多数仍以失败告终1。
读懂文档几乎不成问题，最高执行得分只有38
Data
| Value | |
|---|---|
| Nanonets OCR-3（阅读） | 85.9% |
| GPT-5.4（阅读） | 83.5% |
| Gemini-3-Pro（阅读） | 82.8% |
| Claude Sonnet 4.6（阅读） | 80.7% |
| 受测最佳系统（TRACE执行） | 38% |
基准测试规模小，发布方利益相关
这些局限确实存在：5份样本、47道题、只有一种上下文长度；发布方是一家有智能体要卖的厂商，评分由机器完成6。不过，该数据集以CC-BY-4.0协议开放，评估代码放在GitHub上，任何人都可以重跑受测的各家系统，而不必只信这个数字67。但几乎没有人这么做：数据集卡片显示，过去一个月的下载量只有44次6；代码仓库有39个star、没有fork7；相比之下，Nanonets自家OCR模型的下载量已达28.8万次8。
几乎无人重跑这项基准测试：44次下载对Nanonets自家模型的28.8万次
Data
| 月下载量（数据集）/ star数（代码仓库）/ 下载量（模型） | |
|---|---|
| TRACE基准测试数据集（Hugging Face） | 44 |
| TRACE评估代码仓库（GitHub） | 39 |
| Nanonets OCR-3模型（Hugging Face） | 288,000 |
盯住GitHub上的合并请求
下一个数字自带时间戳、完全公开：新系统的成绩都通过GitHub合并请求（pull request）提交7。迄今还没有人公布远高于38、且经过核验的成绩。在那之前，编制企业智能体预算，站得住脚的口径只有一条：大多数多步骤流程任务，在行业自家的测试上过不了关。
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
