Лучший ИИ-агент доводит до конца лишь 38% многоэтапных корпоративных задач — по данным собственного бенчмарка Nanonets
Nanonets — частная компания в области документного ИИ (document AI); ее платформа автоматизирует документооборот для более чем 10 тыс. команд. Компания опубликовала открытый бенчмарк, проверяющий, как ИИ-системы исполняют финансовые процессы с соблюдением правил, спрятанных в переписке: лучший результат — 38% полностью правильно выполненных задач. На фоне прогнозных на 2026 год мировых расходов на ИИ в $2,7 трлн это редкая оценка изнутри отрасли того, что корпоративные ИИ-агенты дают на самом деле.
Vincent Jiang · 3 min read
Цифра, которая с июля лежит в открытом доступе
Лучшая ИИ-система, которую удалось найти Nanonets, полностью правильно выполняет лишь 38% многоэтапных корпоративных процессных задач. Цифра размещена на исследовательской странице Nanonets, частной компании из Сан-Франциско, работающей в сфере документного ИИ, — под названием TRACE (Task-Relevant Applied Constraint Execution), открыто опубликованного бенчмарка 1. Это потолок для всей работы, на которую в 2026 году придется $2,7 трлн прогнозных расходов на ИИ 3. Название самой публикации формулирует вывод: модели находят правила, но не применяют их 2.
Датасет и код оценки в последний раз обновлялись 22 июля 2026 года 67. Поиск по новостям и в интернете, проведенный 14 октября 2026 года, не выявил ни одного издания, освещавшего этот результат.
Деньги исходят из обратного
По данным Gartner, поставщики ПО всех типов «стремительно встраивают агентный ИИ» в уже существующие продукты 3. Nanonets утверждает, что более 10 тыс. команд уже используют ее платформу для сверки счетов, обработки требований и закрытия месяца 4. Если лучшая из систем проходит лишь 38% процессных задач, то большая часть заложенной в бюджеты автоматизации по-прежнему возвращается с ошибками или возвращается человеку.
Если цифра 38% верна, в проигрыше оказываются две группы: предприятия, внедряющие агентов на основании обещаний вендоров, и модели доходов софтверных компаний, выстроенные под почти полную автоматизацию бэк-офиса. Победителем станет тот, кто первым опубликует верифицированный результат исполнения, значительно превышающий эту отметку.
Экзаменатор заодно продает агентов
Nanonets — арбитр не нейтральный. Компания оценивает рынок, на котором сама работает: она проводит TRACE и ведет открытый рейтинг, сравнивающий 29 моделей интеллектуальной обработки документов, первое место в котором занимает ее собственная OCR-3 15. Одновременно она продает решения на этом же рынке: в блоге компания продвигает «AI-native»-платформы в противовес вендорам старой школы ABBYY и Kofax 4, а баннер рекламирует Trail — «корпоративный мозг для ИИ-агентов» 1.
Что проверяет тест
TRACE намеренно суров. Каждый пример — это переписка в рамках процесса Record-to-Report, обмен репликами при закрытии месяца в бухгалтерии: около 100 тыс. токенов текста, где правила компании спрятаны посреди фраз. На пять примеров приходится 47 вопросов, оцениваемых по 388 критериям, — принцип оценки «все или ничего»: задача засчитывается, только если ответ верен и соблюдено каждое применимое правило. Проверяет ответы вторая ИИ-модель — в настройках примера указана gpt-5.5 6.
Чтение — на 80 с лишним, исполнение — 38
Зато в собственном документном рейтинге Nanonets те же модели читают страницы значительно надежнее: у Nanonets OCR-3 — 85,9 балла в общем зачете, у GPT-5.4 от OpenAI$1.18T — OpenAI, private, latest valuation $1.18T — 83,5, у Gemini-3-Pro от Google — 82,8 5. Вместе эти два результата означают для покупателя следующее: модель способна правильно прочитать страницу примерно в 86 случаях из 100 — и все же провалить большинство многоэтапных процессов, которые она выполняет по правилам компании 1.
Чтение документов почти решено; лучший результат исполнения — 38
Data
| Value | |
|---|---|
| Nanonets OCR-3 (чтение) | 85.9% |
| GPT-5.4 (чтение) | 83.5% |
| Gemini-3-Pro (чтение) | 82.8% |
| Claude Sonnet 4.6 (чтение) | 80.7% |
| Лучшая из протестированных систем (исполнение, TRACE) | 38% |
Небольшой бенчмарк, заинтересованная сторона
Оговорки весомые: пять примеров, 47 вопросов, один размер контекста, машинная проверка — и все это опубликовал сам вендор, которому нужно продавать агентов 6. Но датасет открыт под лицензией CC-BY-4.0, а код оценки выложен на GitHub, так что любой может перепроверить всех участников, а не верить цифре на слово 67. Почти никто этим не воспользовался: карточка датасета показывает 44 скачивания за последний месяц 6, у репозитория — 39 звезд и ни одного форка 7, против 288 тыс. скачиваний собственной OCR-модели Nanonets 8.
Бенчмарк почти никто не перепроверял: 44 скачивания против 288 тыс. у собственной модели Nanonets
Data
| Скачивания за месяц (датасет) / звезды (репозиторий) / скачивания (модель) | |
|---|---|
| Датасет бенчмарка TRACE (Hugging Face) | 44 |
| Репозиторий кода оценки TRACE (GitHub) | 39 |
| Модель Nanonets OCR-3 (Hugging Face) | 288,000 |
Следить надо за пул-реквестами
Следующий замер будет датированным и открытым: новые системы добавляются пул-реквестами на GitHub 7. Верифицированного результата, заметно превышающего 38, никто пока не опубликовал. Пока его нет, строку бюджета на корпоративных ИИ-агентов можно защитить только одним тезисом: большинство многоэтапных процессных задач проваливается на тесте самой отрасли.
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
