El propio banco de pruebas de Nanonets constata que el mejor agente de IA completa apenas el 38% de las tareas empresariales de varios pasos
Nanonets, una empresa privada de IA documental cuya plataforma automatiza el papeleo de más de 10.000 equipos, ha publicado un banco de pruebas abierto que califica a los sistemas de IA en la ejecución de procesos financieros bajo reglas enterradas en la conversación. El mejor resultado: un 38% de tareas completamente correctas. Frente a los 2,7 billones de dólares de gasto previsto en IA en 2026, es una medición poco habitual desde dentro del propio sector de lo que entregan de verdad los agentes empresariales.
Vincent Jiang · 3 min read
Un dato a la vista de todos desde julio
El mejor sistema de IA que Nanonets ha podido encontrar completa correctamente solo el 38% de las tareas de procesos empresariales de varios pasos. La cifra figura en la página de investigación de Nanonets, una empresa privada de IA documental con sede en San Francisco, bajo TRACE (Task-Relevant Applied Constraint Execution), un banco de pruebas publicado en abierto 1. Es un techo sobre el trabajo que hay detrás de los 2,7 billones de dólares de gasto en IA previsto para 2026 3. El título del informe enuncia el hallazgo: los modelos encuentran las reglas y luego no las aplican 2.
El conjunto de datos y su código de evaluación se actualizaron por última vez el 22 de julio de 2026 67. Las búsquedas en prensa y en la web realizadas el 14 de octubre de 2026 no encontraron ningún medio que hubiera informado del resultado.
El dinero asume lo contrario
Gartner dice que los fabricantes de software de todo tipo están «integrando rápidamente la IA agéntica» en sus productos existentes 3. Nanonets asegura que más de 10.000 equipos ya usan su plataforma para conciliar facturas, gestionar reclamaciones y ejecutar el cierre de fin de mes 4. Si el mejor sistema aprueba el 38% de las tareas de proceso, la mayor parte del trabajo de automatización presupuestado sigue volviendo con errores, o vuelve a manos de un humano.
Si el 38% se sostiene, pierden dos grupos: las empresas que despliegan agentes fiándose de las promesas de los proveedores, y los modelos de ingresos del sector del software, cuyos precios asumen una automatización casi total del back office. El ganador será quien publique primero una puntuación de ejecución verificada muy por encima de esa cifra.
El examinador también vende los agentes
Nanonets no es un árbitro neutral. Pone notas al sector: gestiona TRACE y una clasificación pública que ordena 29 modelos de procesamiento inteligente de documentos, con su propio OCR-3 en el número uno 15. Y a la vez vende en ese mismo mercado: un blog que promociona plataformas «nativas de IA» frente a los proveedores tradicionales ABBYY y Kofax 4, y un banner que anuncia a Trail, «el cerebro de la empresa para los agentes de IA» 1.
Lo que exige el examen
TRACE es deliberadamente dura. Cada muestra es una conversación Record-to-Report —el ida y vuelta de un cierre contable de fin de mes— de unos 100.000 tokens de texto, con reglas de la compañía soltadas a mitad de frase. Cinco muestras contienen 47 preguntas evaluadas según 388 criterios, con puntuación de todo o nada: una tarea solo se aprueba si la respuesta es correcta y se respeta cada regla aplicable. La corrección la hace un segundo modelo de IA; en la configuración de las muestras se cita a gpt-5.5 6.
Leen por encima de los 80 puntos y ejecutan en el 38
En la clasificación pública de documentos de la propia Nanonets, los mismos modelos leen páginas con mucha más fiabilidad: Nanonets OCR-3 logra un 85,9 global; el GPT-5.4 de OpenAI$1.18T — OpenAI, private, latest valuation $1.18T, un 83,5; y el Gemini-3-Pro de Google, un 82,8 5. Para un comprador, las dos puntuaciones en conjunto significan que un modelo puede leer correctamente una página unas 86 veces de cada 100 y aun así fallar en la mayoría de los procesos de varios pasos que ejecuta bajo las reglas de una empresa 1.
La lectura de documentos está casi resuelta; la mejor puntuación de ejecución es un 38
Data
| Value | |
|---|---|
| Nanonets OCR-3 (lectura) | 85.9% |
| GPT-5.4 (lectura) | 83.5% |
| Gemini-3-Pro (lectura) | 82.8% |
| Claude Sonnet 4.6 (lectura) | 80.7% |
| Mejor sistema evaluado (ejecución, TRACE) | 38% |
Un banco de pruebas pequeño y una parte interesada
Las salvedades son reales: cinco muestras, 47 preguntas, un único tamaño de contexto, todo ello autopublicado por un proveedor con agentes que vender y corregido por máquina 6. Pero el conjunto de datos está publicado en abierto bajo licencia CC-BY-4.0, con el código de evaluación en GitHub, así que cualquiera puede repetir la prueba con todo el campo en lugar de fiarse de la cifra 67. Casi nadie lo ha hecho: la ficha del conjunto de datos registra 44 descargas en el último mes 6 y el repositorio, 39 estrellas y ningún fork 7, frente a las 288.000 descargas del modelo de OCR de la propia Nanonets 8.
Casi nadie ha repetido el banco de pruebas: 44 descargas frente a las 288.000 del modelo propio de Nanonets
Data
| Descargas mensuales (conjunto de datos) / estrellas (repositorio) / descargas (modelo) | |
|---|---|
| Conjunto de datos del banco de pruebas TRACE (Hugging Face) | 44 |
| Repositorio de evaluación de TRACE (GitHub) | 39 |
| Modelo OCR-3 de Nanonets (Hugging Face) | 288,000 |
Vigilar los pull requests
La próxima medición será pública y estará fechada: los envíos de nuevos sistemas llegan como pull requests en GitHub 7. Nadie ha publicado todavía una puntuación verificada muy por encima del 38 %. Hasta que alguien lo haga, la partida presupuestaria defendible para los agentes empresariales es la que asume que la mayor parte del trabajo de procesos de varios pasos fracasa en el banco de pruebas del propio sector.
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
