--- title: "Benchmark da própria Nanonets: melhor agente de IA conclui só 38% das tarefas corporativas de múltiplas etapas" description: "A Nanonets, empresa privada de IA para documentos cuja plataforma automatiza a papelada de mais de 10 mil equipes, publicou um benchmark aberto que avalia sistemas de IA na execução de processos financeiros regidos por regras escondidas em conversas; o melhor resultado foi de 38% de tarefas inteiramente corretas. Diante dos US$ 2,7 trilhões projetados em gastos com IA para 2026, é uma rara medição feita de dentro do próprio setor sobre o que os agentes corporativos de fato entregam." publisher: "The Inference" section: "Platforms" published: 2026-10-14T21:08:10.037Z modified: 2026-10-14T21:08:10.037Z canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/pt language: pt keywords: "AI Agents, Benchmarks, Enterprise Software, Document AI, Finance Automation" --- # Benchmark da própria Nanonets: melhor agente de IA conclui só 38% das tarefas corporativas de múltiplas etapas > A Nanonets, empresa privada de IA para documentos cuja plataforma automatiza a papelada de mais de 10 mil equipes, publicou um benchmark aberto que avalia sistemas de IA na execução de processos financeiros regidos por regras escondidas em conversas; o melhor resultado foi de 38% de tarefas inteiramente corretas. Diante dos US$ 2,7 trilhões projetados em gastos com IA para 2026, é uma rara medição feita de dentro do próprio setor sobre o que os agentes corporativos de fato entregam. ## Um número exposto ao público desde julho O melhor sistema de IA que a [Nanonets](https://nanonets.com/research) conseguiu encontrar conclui de forma totalmente correta apenas 38% das tarefas de processos corporativos de múltiplas etapas. O número está na página de pesquisas da Nanonets, empresa privada de IA para documentos sediada em São Francisco, sob o TRACE, sigla de Task-Relevant Applied Constraint Execution, [um benchmark publicado de forma aberta](https://nanonets.com/research/trace) [1]. Ele é um teto sobre o trabalho por trás dos US$ 2,7 trilhões em gastos com IA previstos para 2026 [3]. O título do estudo resume o achado: os modelos encontram as regras, mas falham em aplicá-las [2]. O conjunto de dados e o código de pontuação foram atualizados pela última vez em 22 de julho de 2026 [6][7]. Buscas em notícias e na web em 14 de outubro de 2026 não encontraram nenhum veículo que tivesse noticiado o resultado. ## O dinheiro parte do pressuposto oposto A Gartner afirma que fornecedores de software de todos os tipos estão "[incorporando rapidamente a IA agêntica](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/)" em seus produtos já existentes [3]. A Nanonets diz que mais de 10 mil equipes já executam em sua plataforma conciliação de faturas, sinistros e fechamento contábil mensal [4]. Se o melhor sistema passa em 38% das tarefas de processo, a maior parte do trabalho de automação previsto nos orçamentos ainda volta errada — ou volta para as mãos de um humano. Se os 38% se sustentarem, dois grupos perdem: as empresas que implantam agentes com base nas promessas dos fornecedores e os modelos de receita de software precificados para uma automação quase total do backoffice. O vencedor será quem primeiro publicar uma pontuação de execução verificada muito acima disso. ## Quem dá as notas também vende os agentes A Nanonets não é uma árbitra neutra. Ela julga o mercado: administra o TRACE e [um ranking público que classifica 29 modelos de processamento inteligente de documentos](https://www.idp-leaderboard.org/), no qual seu próprio OCR-3 figura em primeiro lugar [1][5]. E também vende para esse mercado: um blog que faz marketing de plataformas "nativas de IA" contra os fornecedores tradicionais ABBYY e Kofax [4], e um banner do Trail, "o cérebro da empresa para agentes de IA" [1]. ## O que o teste exige O TRACE é deliberadamente rigoroso. Cada amostra é uma conversa de Record-to-Report, o vaivém de um fechamento contábil de fim de mês, com cerca de 100 mil tokens de texto e regras da empresa soltas no meio das frases. As cinco amostras reúnem 47 perguntas avaliadas em 388 critérios, com pontuação tudo-ou-nada: uma tarefa só passa se a resposta estiver correta e todas as regras aplicáveis forem cumpridas. Quem corrige é um segundo modelo de IA — o gpt-5.5 é o citado na configuração das amostras [6]. ## Leitura na casa dos 80, execução em 38 No ranking de documentos da própria Nanonets, os mesmos modelos leem páginas com muito mais segurança. O OCR-3 da Nanonets tem nota geral de 85,9; o GPT-5.4, da [OpenAI](https://theinference.org/markets/companies/openai), 83,5; e o Gemini-3-Pro, do Google, 82,8 [5]. Para o comprador, os dois números somados significam que um modelo consegue ler uma página corretamente cerca de 86 vezes em 100 e, ainda assim, falhar na maioria dos processos corporativos de múltiplas etapas que executa sob as regras de uma empresa [1]. *Chart: **Ler documentos está quase resolvido; a melhor nota de execução é 38** Gráfico de barras comparando as notas de leitura de documentos, na casa dos 80, de quatro modelos com a melhor pontuação de execução de processos do TRACE, de 38%* *Nota geral no IDP Leaderboard da Nanonets (média de três benchmarks de documentos, consulta em 14 de outubro de 2026) versus a melhor task_pass_rate no TRACE (parcela das 47 tarefas de processo totalmente corretas, com pontuação tudo-ou-nada; conjunto de dados atualizado em 22 de julho de 2026). Fontes: Nanonets Research [1]; IDP Leaderboard [5]. [1][5]* ## Benchmark pequeno, parte interessada As ressalvas são reais: cinco amostras, 47 perguntas, um único tamanho de contexto, publicação de um fornecedor com agentes para vender e correção por máquina [6]. Mas [o conjunto de dados é aberto sob licença CC-BY-4.0](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset), com o código de avaliação no GitHub — o que permite a qualquer um refazer o benchmark com todos os modelos, em vez de confiar no número [6][7]. Quase ninguém o fez: a página do conjunto de dados registra 44 downloads no último mês [6], e o repositório tem 39 estrelas e nenhum fork [7] — contra 288 mil downloads do próprio modelo de OCR da Nanonets [8]. *Chart: **Quase ninguém refez o benchmark: 44 downloads contra 288 mil do próprio modelo da Nanonets** Gráfico de colunas mostrando os 44 downloads mensais do conjunto de dados do benchmark TRACE, as 39 estrelas do repositório de avaliação no GitHub e os 288 mil downloads do modelo OCR-3 da Nanonets* *O interesse no benchmark, contra o interesse no próprio modelo do fornecedor: downloads do conjunto de dados do TRACE no último mês (Hugging Face, leitura em 14 de outubro de 2026), estrelas do repositório de avaliação (GitHub, nenhum fork) e downloads do modelo de OCR da Nanonets (Hugging Face). Fontes: Hugging Face [6]; GitHub [7]; Hugging Face [8]. [6][7][8]* ## De olho nos pull requests O próximo dado terá data e será público: [as submissões de novos sistemas chegam como pull requests no GitHub](https://github.com/NanoNets/trace-benchmark) [7]. Ninguém registrou, até agora, uma nota verificada bem acima dos 38. Até lá, o que se pode defender no orçamento destinado a agentes corporativos é que a maior parte do trabalho de processos corporativos de múltiplas etapas falha no teste da própria indústria. ## Takeaway Um benchmark aberto publicado por um fornecedor mostra que o melhor sistema de IA conclui por completo apenas 38% das tarefas de processos corporativos de múltiplas etapas — enquanto os mesmos modelos leem documentos com notas na casa dos 80; até que uma pontuação maior e verificada apareça no repositório aberto, os orçamentos de agentes corporativos se erguem sobre um número que ninguém superou. ## Sources 1. [Nanonets, Research index page, accessed 14 October 2026](https://nanonets.com/research) 2. [Nanonets Research, TRACE benchmark page: LLMs search & retrieve rules, but still don't apply them, accessed 14 October 2026](https://nanonets.com/research/trace) 3. [BigDATAwire, Gartner Forecasts Worldwide AI Spending to Grow 49.5% in 2026, 18 September 2026](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/) 4. [Nanonets, Blog index (AI Agents for Enterprise Data Processing), accessed 14 October 2026](https://nanonets.com/blog/) 5. [IDP Leaderboard, Intelligent Document Processing Leaderboard, accessed 14 October 2026](https://www.idp-leaderboard.org/) 6. [Hugging Face, nanonets/trace-benchmark-dataset dataset card, updated 22 July 2026](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset) 7. [GitHub, NanoNets/trace-benchmark evaluation code and submission repo, last commit 22 July 2026](https://github.com/NanoNets/trace-benchmark) 8. [Hugging Face, nanonets organization page, accessed 14 October 2026](https://huggingface.co/nanonets) --- Benchmark da própria Nanonets: melhor agente de IA conclui só 38% das tarefas corporativas de múltiplas etapas — The Inference. Canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/pt