--- title: "Лучший ИИ-агент доводит до конца лишь 38% многоэтапных корпоративных задач — по данным собственного бенчмарка Nanonets" description: "Nanonets — частная компания в области документного ИИ (document AI); ее платформа автоматизирует документооборот для более чем 10 тыс. команд. Компания опубликовала открытый бенчмарк, проверяющий, как ИИ-системы исполняют финансовые процессы с соблюдением правил, спрятанных в переписке: лучший результат — 38% полностью правильно выполненных задач. На фоне прогнозных на 2026 год мировых расходов на ИИ в $2,7 трлн это редкая оценка изнутри отрасли того, что корпоративные ИИ-агенты дают на самом деле." publisher: "The Inference" section: "Platforms" published: 2026-10-14T21:08:10.037Z modified: 2026-10-14T21:08:10.037Z canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/ru language: ru keywords: "AI Agents, Benchmarks, Enterprise Software, Document AI, Finance Automation" --- # Лучший ИИ-агент доводит до конца лишь 38% многоэтапных корпоративных задач — по данным собственного бенчмарка Nanonets > Nanonets — частная компания в области документного ИИ (document AI); ее платформа автоматизирует документооборот для более чем 10 тыс. команд. Компания опубликовала открытый бенчмарк, проверяющий, как ИИ-системы исполняют финансовые процессы с соблюдением правил, спрятанных в переписке: лучший результат — 38% полностью правильно выполненных задач. На фоне прогнозных на 2026 год мировых расходов на ИИ в $2,7 трлн это редкая оценка изнутри отрасли того, что корпоративные ИИ-агенты дают на самом деле. ## Цифра, которая с июля лежит в открытом доступе Лучшая ИИ-система, которую удалось найти [Nanonets](https://nanonets.com/research), полностью правильно выполняет лишь 38% многоэтапных корпоративных процессных задач. Цифра размещена на исследовательской странице Nanonets, частной компании из Сан-Франциско, работающей в сфере документного ИИ, — под названием TRACE (Task-Relevant Applied Constraint Execution), [открыто опубликованного бенчмарка](https://nanonets.com/research/trace) [1]. Это потолок для всей работы, на которую в 2026 году придется $2,7 трлн прогнозных расходов на ИИ [3]. Название самой публикации формулирует вывод: модели находят правила, но не применяют их [2]. Датасет и код оценки в последний раз обновлялись 22 июля 2026 года [6][7]. Поиск по новостям и в интернете, проведенный 14 октября 2026 года, не выявил ни одного издания, освещавшего этот результат. ## Деньги исходят из обратного По данным Gartner, поставщики ПО всех типов «[стремительно встраивают агентный ИИ](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/)» в уже существующие продукты [3]. Nanonets утверждает, что более 10 тыс. команд уже используют ее платформу для сверки счетов, обработки требований и закрытия месяца [4]. Если лучшая из систем проходит лишь 38% процессных задач, то большая часть заложенной в бюджеты автоматизации по-прежнему возвращается с ошибками или возвращается человеку. Если цифра 38% верна, в проигрыше оказываются две группы: предприятия, внедряющие агентов на основании обещаний вендоров, и модели доходов софтверных компаний, выстроенные под почти полную автоматизацию бэк-офиса. Победителем станет тот, кто первым опубликует верифицированный результат исполнения, значительно превышающий эту отметку. ## Экзаменатор заодно продает агентов Nanonets — арбитр не нейтральный. Компания оценивает рынок, на котором сама работает: она проводит TRACE и ведет [открытый рейтинг, сравнивающий 29 моделей интеллектуальной обработки документов](https://www.idp-leaderboard.org/), первое место в котором занимает ее собственная OCR-3 [1][5]. Одновременно она продает решения на этом же рынке: в блоге компания продвигает «AI-native»-платформы в противовес вендорам старой школы ABBYY и Kofax [4], а баннер рекламирует Trail — «корпоративный мозг для ИИ-агентов» [1]. ## Что проверяет тест TRACE намеренно суров. Каждый пример — это переписка в рамках процесса Record-to-Report, обмен репликами при закрытии месяца в бухгалтерии: около 100 тыс. токенов текста, где правила компании спрятаны посреди фраз. На пять примеров приходится 47 вопросов, оцениваемых по 388 критериям, — принцип оценки «все или ничего»: задача засчитывается, только если ответ верен и соблюдено каждое применимое правило. Проверяет ответы вторая ИИ-модель — в настройках примера указана gpt-5.5 [6]. ## Чтение — на 80 с лишним, исполнение — 38 Зато в собственном документном рейтинге Nanonets те же модели читают страницы значительно надежнее: у Nanonets OCR-3 — 85,9 балла в общем зачете, у GPT-5.4 от [OpenAI](https://theinference.org/markets/companies/openai) — 83,5, у Gemini-3-Pro от Google — 82,8 [5]. Вместе эти два результата означают для покупателя следующее: модель способна правильно прочитать страницу примерно в 86 случаях из 100 — и все же провалить большинство многоэтапных процессов, которые она выполняет по правилам компании [1]. *Chart: **Чтение документов почти решено; лучший результат исполнения — 38** Столбчатая диаграмма, сравнивающая результаты четырех моделей в чтении документов (около 80 баллов) с лучшим показателем исполнения процессов на TRACE — 38%* *Общий балл в рейтинге IDP Leaderboard от Nanonets (среднее по трем документным бенчмаркам, данные на 14 октября 2026 года) против лучшего значения task_pass_rate на TRACE (доля полностью верно выполненных задач из 47 процессных, оценка по принципу «все или ничего»; датасет обновлен 22 июля 2026 года). Источники: Nanonets Research [1]; IDP Leaderboard [5]. [1][5]* ## Небольшой бенчмарк, заинтересованная сторона Оговорки весомые: пять примеров, 47 вопросов, один размер контекста, машинная проверка — и все это опубликовал сам вендор, которому нужно продавать агентов [6]. Но [датасет открыт под лицензией CC-BY-4.0](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset), а код оценки выложен на GitHub, так что любой может перепроверить всех участников, а не верить цифре на слово [6][7]. Почти никто этим не воспользовался: карточка датасета показывает 44 скачивания за последний месяц [6], у репозитория — 39 звезд и ни одного форка [7], против 288 тыс. скачиваний собственной OCR-модели Nanonets [8]. *Chart: **Бенчмарк почти никто не перепроверял: 44 скачивания против 288 тыс. у собственной модели Nanonets** Столбчатая диаграмма: у датасета бенчмарка TRACE 44 скачивания за месяц, у репозитория с кодом оценки на GitHub — 39 звезд, у модели Nanonets OCR-3 — 288 тыс. скачиваний* *Интерес к бенчмарку против интереса к собственной модели вендора: скачивания датасета TRACE за последний месяц (Hugging Face, данные на 14 октября 2026 года), звезды репозитория с кодом оценки (GitHub, форков нет) и скачивания модели nanonets OCR (Hugging Face). Источники: Hugging Face [6]; GitHub [7]; Hugging Face [8]. [6][7][8]* ## Следить надо за пул-реквестами Следующий замер будет датированным и открытым: [новые системы добавляются пул-реквестами на GitHub](https://github.com/NanoNets/trace-benchmark) [7]. Верифицированного результата, заметно превышающего 38, никто пока не опубликовал. Пока его нет, строку бюджета на корпоративных ИИ-агентов можно защитить только одним тезисом: большинство многоэтапных процессных задач проваливается на тесте самой отрасли. ## Takeaway Согласно открытому бенчмарку, опубликованному самим вендором, лучшая ИИ-система полностью выполняет лишь 38% многоэтапных корпоративных процессных задач — при том что те же модели читают документы с результатом выше 80 баллов. Пока в открытом репозитории не появится верифицированный более высокий результат, бюджеты на корпоративных ИИ-агентов строятся на цифре, которую никто не смог превзойти. ## Sources 1. [Nanonets, Research index page, accessed 14 October 2026](https://nanonets.com/research) 2. [Nanonets Research, TRACE benchmark page: LLMs search & retrieve rules, but still don't apply them, accessed 14 October 2026](https://nanonets.com/research/trace) 3. [BigDATAwire, Gartner Forecasts Worldwide AI Spending to Grow 49.5% in 2026, 18 September 2026](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/) 4. [Nanonets, Blog index (AI Agents for Enterprise Data Processing), accessed 14 October 2026](https://nanonets.com/blog/) 5. [IDP Leaderboard, Intelligent Document Processing Leaderboard, accessed 14 October 2026](https://www.idp-leaderboard.org/) 6. [Hugging Face, nanonets/trace-benchmark-dataset dataset card, updated 22 July 2026](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset) 7. [GitHub, NanoNets/trace-benchmark evaluation code and submission repo, last commit 22 July 2026](https://github.com/NanoNets/trace-benchmark) 8. [Hugging Face, nanonets organization page, accessed 14 October 2026](https://huggingface.co/nanonets) --- Лучший ИИ-агент доводит до конца лишь 38% многоэтапных корпоративных задач — по данным собственного бенчмарка Nanonets — The Inference. Canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/ru