---
title: "多段階の企業業務タスク、最良のAIエージェントでも38%しか完遂できず　Nanonets自社ベンチマーク"
description: "非上場の文書AI企業Nanonetsは、会話のやり取りの中に埋め込まれた規則に従って財務プロセスを遂行するAIシステムの力量を測る公開ベンチマークを公表した。1万チームを超える書類業務を自社プラットフォームで自動化する同社の測定では、最良のシステムでもタスクを完全に正しくこなせたのは38%だった。2026年のAI支出は2兆7000億ドルに達するとみられるなか、企業向けAIエージェントが実際に出せる成果を業界の内側から測った稀有なデータといえる。"
publisher: "The Inference"
section: "Platforms"
published: 2026-10-14T21:08:10.037Z
modified: 2026-10-14T21:08:10.037Z
canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/ja
language: ja
keywords: "AI Agents, Benchmarks, Enterprise Software, Document AI, Finance Automation"
---

# 多段階の企業業務タスク、最良のAIエージェントでも38%しか完遂できず　Nanonets自社ベンチマーク

> 非上場の文書AI企業Nanonetsは、会話のやり取りの中に埋め込まれた規則に従って財務プロセスを遂行するAIシステムの力量を測る公開ベンチマークを公表した。1万チームを超える書類業務を自社プラットフォームで自動化する同社の測定では、最良のシステムでもタスクを完全に正しくこなせたのは38%だった。2026年のAI支出は2兆7000億ドルに達するとみられるなか、企業向けAIエージェントが実際に出せる成果を業界の内側から測った稀有なデータといえる。

## 7月から公開され続ける数字

[Nanonets](https://nanonets.com/research)が確認できた範囲で最良のAIシステムでも、多段階の企業プロセスタスクを完全に正しく終えられるのは38%だけだ。この数字は、サンフランシスコに本拠を置く非上場の文書AI企業Nanonetsの研究ページで、[公開ベンチマーク](https://nanonets.com/research/trace)「TRACE(Task-Relevant Applied Constraint Execution)」として掲載されている[1]。2026年に2兆7000億ドルへ膨らむと予測されるAI支出が前提とする業務の達成度にとって、この数字は天井だ[3]。同ベンチマークの解説記事のタイトルが、そのまま結論を示している。「モデルは規則を見つけられるが、適用には失敗する」[2]

データセットと採点コードの最終更新は2026年7月22日[6][7]。2026年10月14日にニュース検索とウェブ検索をしたところ、この結果を報じるメディアは見つからなかった。

## カネは正反対の前提で動く

ガートナーは、あらゆるタイプのソフトウエアベンダーが既存製品に[「エージェント型AIを急速に組み込みつつある」](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/)と分析する[3]。Nanonetsによれば、同社のプラットフォームでは請求書照合、クレーム処理、月次決算を1万チーム以上が既に動かしているという[4]。最良のシステムでもプロセスタスクの38%しか合格しないとすれば、予算化された自動化業務の大半は、間違ったまま返ってくるか、人間の手に戻ることになる。

38%が正しければ、損をするのは2つの陣営だ。ベンダーの主張を頼りにエージェントを導入する企業と、バックオフィスのほぼ全面的な自動化を織り込んで値付けされたソフトウエアの収益モデル。勝つのは、これを大きく上回る検証済みの実行スコアを最初に提示する側だ。

## 採点する側がエージェントも売る

Nanonetsは中立的な審判ではない。TRACEと、[29のインテリジェント文書処理(IDP)モデルを順位付けする公開リーダーボード](https://www.idp-leaderboard.org/)を運営し、その首位に自社の「OCR-3」を置いている[1][5]。その一方で、同じ市場への販売も行っている。旧来ベンダーのABBYYやKofaxに対抗して「AIネイティブ」なプラットフォームを売り込むブログ記事[4]や、「AIエージェントのための会社の頭脳」をうたうTrailのバナー広告[1]を出している。

## テストは何を問うか

TRACEは意図的に厳しく作られている。各サンプルは「Record to Report(R2R)」の会話データで、月次決算の締め作業で交わされるやり取りを約10万トークンのテキストにまとめ、社内規則が文の途中に唐突に差し込まれている。5つのサンプルには47問が含まれ、388の基準で採点する。採点はオールオアナッシング方式で、答えが正しく、適用される規則がすべて守られてはじめて1タスクが合格になる。採点役は別のAIモデルが務め、サンプルの設定ではGPT-5.5が指定されている[6]。

## 読み取りは80点台、実行は38%

一方、Nanonets自身の文書リーダーボードでは、同じモデルがページをはるかに確実に読み取る。総合スコアはNanonets OCR-3が85.9、[オープンAI](https://theinference.org/markets/companies/openai)のGPT-5.4が83.5、グーグルのGemini-3-Proが82.8だ[5]。買い手にとって、二つのスコアを併せた意味はこうだ。100回のうち約86回はページを正しく読み取れるモデルでも、社内規則の下で実行する多段階プロセスの大半には失敗する[1]。

*Chart: **文書読み取りはほぼ解決、最高の実行スコアは38** 4つのモデルの文書読み取りベンチマークスコア(いずれも80点台)と、TRACEでのプロセス実行スコアの最高値38%を比較した棒グラフ*

*NanonetsのIDPリーダーボードの総合スコア(3つの文書ベンチマークの平均、2026年10月14日閲覧)と、TRACEでの最高task_pass_rate(47のプロセスタスクのうち完全に正解した割合、オールオアナッシング方式の採点、データセットは2026年7月22日更新)の比較。出典:Nanonets Research[1]、IDPリーダーボード[5]。 [1][5]*

## 規模は小さく、発表者は利害関係者

注意すべき点は確かにある。サンプルは5つ、設問は47問、コンテキストサイズは1種類のみ。しかも、エージェントを売る立場のベンダーが自社で発表し、採点は機械任せだ[6]。ただし、[データセットはCC-BY-4.0で公開](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset)され、評価コードもGitHubに置かれている。数字を信じる代わりに、誰でも対象モデルを再実行できる[6][7]。だが、ほとんど誰もやっていない。データセットカードによると、直近1カ月のダウンロードは44回[6]。リポジトリーのスターは39件で、フォークはゼロ[7]。一方、Nanonets自社のOCRモデルのダウンロードは28万8000回に達する[8]。

*Chart: **ベンチマークの再実行はほぼ皆無――ダウンロード44回、Nanonets自社モデルは28万8000回** TRACEベンチマークデータセットの月間ダウンロード数44回、GitHub上の評価リポジトリーのスター数39件、NanonetsのOCR-3モデルのダウンロード数28万8000回を示す棒グラフ*

*ベンチマークへの関心とベンダー自社モデルへの関心の対比。TRACEデータセットの直近1カ月のダウンロード数(Hugging Face、2026年10月14日時点)、評価リポジトリーのスター数(GitHub、フォークはゼロ)、NanonetsのOCRモデルのダウンロード数(Hugging Face)。出典:Hugging Face[6]、GitHub[7]、Hugging Face[8]。 [6][7][8]*

## プルリクエストに注目

次の計測値は、日付が付いた形で公開される。[新システムの応募はGitHubのプルリクエストとして投稿される](https://github.com/NanoNets/trace-benchmark)からだ[7]。38を大きく上回る検証済みスコアは、いまだ投稿されていない。それが現れるまで、企業向けAIエージェントの予算について筋の通る前提は一つしかない。多段階のプロセスタスクの大半は、業界自身のテストで不合格になる、ということだ。

## Takeaway

ベンダーが公表したオープンベンチマークによると、最良のAIシステムでも多段階の企業プロセスタスクを完全にこなせるのは38%にとどまる。同じモデルが文書読み取りで80点台をマークしているさなかでの話だ。検証済みのより高いスコアが公開リポジトリに届くまで、企業向けAIエージェントへの予算は「誰も破っていない数字」の上に積み上げられている。

## Sources

1. [Nanonets, Research index page, accessed 14 October 2026](https://nanonets.com/research)
2. [Nanonets Research, TRACE benchmark page: LLMs search & retrieve rules, but still don't apply them, accessed 14 October 2026](https://nanonets.com/research/trace)
3. [BigDATAwire, Gartner Forecasts Worldwide AI Spending to Grow 49.5% in 2026, 18 September 2026](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/)
4. [Nanonets, Blog index (AI Agents for Enterprise Data Processing), accessed 14 October 2026](https://nanonets.com/blog/)
5. [IDP Leaderboard, Intelligent Document Processing Leaderboard, accessed 14 October 2026](https://www.idp-leaderboard.org/)
6. [Hugging Face, nanonets/trace-benchmark-dataset dataset card, updated 22 July 2026](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset)
7. [GitHub, NanoNets/trace-benchmark evaluation code and submission repo, last commit 22 July 2026](https://github.com/NanoNets/trace-benchmark)
8. [Hugging Face, nanonets organization page, accessed 14 October 2026](https://huggingface.co/nanonets)


---

多段階の企業業務タスク、最良のAIエージェントでも38%しか完遂できず　Nanonets自社ベンチマーク — The Inference. Canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/ja