Benchmark da própria Nanonets: melhor agente de IA conclui só 38% das tarefas corporativas de múltiplas etapas
A Nanonets, empresa privada de IA para documentos cuja plataforma automatiza a papelada de mais de 10 mil equipes, publicou um benchmark aberto que avalia sistemas de IA na execução de processos financeiros regidos por regras escondidas em conversas; o melhor resultado foi de 38% de tarefas inteiramente corretas. Diante dos US$ 2,7 trilhões projetados em gastos com IA para 2026, é uma rara medição feita de dentro do próprio setor sobre o que os agentes corporativos de fato entregam.
Vincent Jiang · 3 min read
Um número exposto ao público desde julho
O melhor sistema de IA que a Nanonets conseguiu encontrar conclui de forma totalmente correta apenas 38% das tarefas de processos corporativos de múltiplas etapas. O número está na página de pesquisas da Nanonets, empresa privada de IA para documentos sediada em São Francisco, sob o TRACE, sigla de Task-Relevant Applied Constraint Execution, um benchmark publicado de forma aberta 1. Ele é um teto sobre o trabalho por trás dos US$ 2,7 trilhões em gastos com IA previstos para 2026 3. O título do estudo resume o achado: os modelos encontram as regras, mas falham em aplicá-las 2.
O conjunto de dados e o código de pontuação foram atualizados pela última vez em 22 de julho de 2026 67. Buscas em notícias e na web em 14 de outubro de 2026 não encontraram nenhum veículo que tivesse noticiado o resultado.
O dinheiro parte do pressuposto oposto
A Gartner afirma que fornecedores de software de todos os tipos estão "incorporando rapidamente a IA agêntica" em seus produtos já existentes 3. A Nanonets diz que mais de 10 mil equipes já executam em sua plataforma conciliação de faturas, sinistros e fechamento contábil mensal 4. Se o melhor sistema passa em 38% das tarefas de processo, a maior parte do trabalho de automação previsto nos orçamentos ainda volta errada — ou volta para as mãos de um humano.
Se os 38% se sustentarem, dois grupos perdem: as empresas que implantam agentes com base nas promessas dos fornecedores e os modelos de receita de software precificados para uma automação quase total do backoffice. O vencedor será quem primeiro publicar uma pontuação de execução verificada muito acima disso.
Quem dá as notas também vende os agentes
A Nanonets não é uma árbitra neutra. Ela julga o mercado: administra o TRACE e um ranking público que classifica 29 modelos de processamento inteligente de documentos, no qual seu próprio OCR-3 figura em primeiro lugar 15. E também vende para esse mercado: um blog que faz marketing de plataformas "nativas de IA" contra os fornecedores tradicionais ABBYY e Kofax 4, e um banner do Trail, "o cérebro da empresa para agentes de IA" 1.
O que o teste exige
O TRACE é deliberadamente rigoroso. Cada amostra é uma conversa de Record-to-Report, o vaivém de um fechamento contábil de fim de mês, com cerca de 100 mil tokens de texto e regras da empresa soltas no meio das frases. As cinco amostras reúnem 47 perguntas avaliadas em 388 critérios, com pontuação tudo-ou-nada: uma tarefa só passa se a resposta estiver correta e todas as regras aplicáveis forem cumpridas. Quem corrige é um segundo modelo de IA — o gpt-5.5 é o citado na configuração das amostras 6.
Leitura na casa dos 80, execução em 38
No ranking de documentos da própria Nanonets, os mesmos modelos leem páginas com muito mais segurança. O OCR-3 da Nanonets tem nota geral de 85,9; o GPT-5.4, da OpenAI$1.18T — OpenAI, private, latest valuation $1.18T, 83,5; e o Gemini-3-Pro, do Google, 82,8 5. Para o comprador, os dois números somados significam que um modelo consegue ler uma página corretamente cerca de 86 vezes em 100 e, ainda assim, falhar na maioria dos processos corporativos de múltiplas etapas que executa sob as regras de uma empresa 1.
Ler documentos está quase resolvido; a melhor nota de execução é 38
Data
| Value | |
|---|---|
| Nanonets OCR-3 (leitura) | 85.9% |
| GPT-5.4 (leitura) | 83.5% |
| Gemini-3-Pro (leitura) | 82.8% |
| Claude Sonnet 4.6 (leitura) | 80.7% |
| Melhor sistema testado (execução, TRACE) | 38% |
Benchmark pequeno, parte interessada
As ressalvas são reais: cinco amostras, 47 perguntas, um único tamanho de contexto, publicação de um fornecedor com agentes para vender e correção por máquina 6. Mas o conjunto de dados é aberto sob licença CC-BY-4.0, com o código de avaliação no GitHub — o que permite a qualquer um refazer o benchmark com todos os modelos, em vez de confiar no número 67. Quase ninguém o fez: a página do conjunto de dados registra 44 downloads no último mês 6, e o repositório tem 39 estrelas e nenhum fork 7 — contra 288 mil downloads do próprio modelo de OCR da Nanonets 8.
Quase ninguém refez o benchmark: 44 downloads contra 288 mil do próprio modelo da Nanonets
Data
| Downloads mensais (conjunto de dados) / estrelas (repositório) / downloads (modelo) | |
|---|---|
| Conjunto de dados do benchmark TRACE (Hugging Face) | 44 |
| Repositório de avaliação do TRACE (GitHub) | 39 |
| Modelo OCR-3 da Nanonets (Hugging Face) | 288,000 |
De olho nos pull requests
O próximo dado terá data e será público: as submissões de novos sistemas chegam como pull requests no GitHub 7. Ninguém registrou, até agora, uma nota verificada bem acima dos 38. Até lá, o que se pode defender no orçamento destinado a agentes corporativos é que a maior parte do trabalho de processos corporativos de múltiplas etapas falha no teste da própria indústria.
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
