多段階の企業業務タスク、最良のAIエージェントでも38%しか完遂できず　Nanonets自社ベンチマーク

7月から公開され続ける数字

Nanonets↗が確認できた範囲で最良のAIシステムでも、多段階の企業プロセスタスクを完全に正しく終えられるのは38%だけだ。この数字は、サンフランシスコに本拠を置く非上場の文書AI企業Nanonetsの研究ページで、公開ベンチマーク↗「TRACE(Task-Relevant Applied Constraint Execution)」として掲載されている¹。2026年に2兆7000億ドルへ膨らむと予測されるAI支出が前提とする業務の達成度にとって、この数字は天井だ³。同ベンチマークの解説記事のタイトルが、そのまま結論を示している。「モデルは規則を見つけられるが、適用には失敗する」²

データセットと採点コードの最終更新は2026年7月22日⁶⁷。2026年10月14日にニュース検索とウェブ検索をしたところ、この結果を報じるメディアは見つからなかった。

カネは正反対の前提で動く

ガートナーは、あらゆるタイプのソフトウエアベンダーが既存製品に「エージェント型AIを急速に組み込みつつある」↗と分析する³。Nanonetsによれば、同社のプラットフォームでは請求書照合、クレーム処理、月次決算を1万チーム以上が既に動かしているという⁴。最良のシステムでもプロセスタスクの38%しか合格しないとすれば、予算化された自動化業務の大半は、間違ったまま返ってくるか、人間の手に戻ることになる。

38%が正しければ、損をするのは2つの陣営だ。ベンダーの主張を頼りにエージェントを導入する企業と、バックオフィスのほぼ全面的な自動化を織り込んで値付けされたソフトウエアの収益モデル。勝つのは、これを大きく上回る検証済みの実行スコアを最初に提示する側だ。

採点する側がエージェントも売る

Nanonetsは中立的な審判ではない。TRACEと、29のインテリジェント文書処理(IDP)モデルを順位付けする公開リーダーボード↗を運営し、その首位に自社の「OCR-3」を置いている¹⁵。その一方で、同じ市場への販売も行っている。旧来ベンダーのABBYYやKofaxに対抗して「AIネイティブ」なプラットフォームを売り込むブログ記事⁴や、「AIエージェントのための会社の頭脳」をうたうTrailのバナー広告¹を出している。

テストは何を問うか

TRACEは意図的に厳しく作られている。各サンプルは「Record to Report(R2R)」の会話データで、月次決算の締め作業で交わされるやり取りを約10万トークンのテキストにまとめ、社内規則が文の途中に唐突に差し込まれている。5つのサンプルには47問が含まれ、388の基準で採点する。採点はオールオアナッシング方式で、答えが正しく、適用される規則がすべて守られてはじめて1タスクが合格になる。採点役は別のAIモデルが務め、サンプルの設定ではGPT-5.5が指定されている⁶。

読み取りは80点台、実行は38%

一方、Nanonets自身の文書リーダーボードでは、同じモデルがページをはるかに確実に読み取る。総合スコアはNanonets OCR-3が85.9、オープンAIPVT$1.18T — オープンAI, private, latest valuation $1.18TのGPT-5.4が83.5、グーグルのGemini-3-Proが82.8だ⁵。買い手にとって、二つのスコアを併せた意味はこうだ。100回のうち約86回はページを正しく読み取れるモデルでも、社内規則の下で実行する多段階プロセスの大半には失敗する¹。

規模は小さく、発表者は利害関係者

注意すべき点は確かにある。サンプルは5つ、設問は47問、コンテキストサイズは1種類のみ。しかも、エージェントを売る立場のベンダーが自社で発表し、採点は機械任せだ⁶。ただし、データセットはCC-BY-4.0で公開↗され、評価コードもGitHubに置かれている。数字を信じる代わりに、誰でも対象モデルを再実行できる⁶⁷。だが、ほとんど誰もやっていない。データセットカードによると、直近1カ月のダウンロードは44回⁶。リポジトリーのスターは39件で、フォークはゼロ⁷。一方、Nanonets自社のOCRモデルのダウンロードは28万8000回に達する⁸。

プルリクエストに注目

次の計測値は、日付が付いた形で公開される。新システムの応募はGitHubのプルリクエストとして投稿される↗からだ⁷。38を大きく上回る検証済みスコアは、いまだ投稿されていない。それが現れるまで、企業向けAIエージェントの予算について筋の通る前提は一つしかない。多段階のプロセスタスクの大半は、業界自身のテストで不合格になる、ということだ。