Le meilleur agent d'IA ne vient à bout que de 38 % des tâches d'entreprise en plusieurs étapes, selon le propre benchmark de Nanonets
Nanonets, société privée spécialisée dans l'IA documentaire dont la plateforme automatise la paperasse de plus de 10 000 équipes, a publié un benchmark ouvert notant les systèmes d'IA sur l'exécution de processus financiers soumis à des règles enfouies dans les conversations ; le meilleur résultat s'établit à 38 % de tâches intégralement réussies. Face aux 2 700 milliards de dollars de dépenses d'IA prévues en 2026, c'est une mesure rare, issue de l'intérieur du secteur, de ce que livrent réellement les agents d'entreprise.
Vincent Jiang · 3 min read
Un chiffre à la vue de tous depuis juillet
Le meilleur système d'IA que Nanonets ait pu trouver n'achève intégralement que 38 % des tâches de processus d'entreprise en plusieurs étapes. Le chiffre figure sur la page recherche de Nanonets, société privée d'IA documentaire basée à San Francisco, sous TRACE (Task-Relevant Applied Constraint Execution), un benchmark publié en accès libre 1. Il constitue un plafond pour le travail que financent les 2 700 milliards de dollars de dépenses d'IA prévues en 2026 3. Le titre de la note énonce le constat : les modèles trouvent les règles, puis échouent à les appliquer 2.
Le jeu de données et son code de notation ont été mis à jour pour la dernière fois le 22 juillet 2026 67. Une revue de presse et une recherche web, le 14 octobre 2026, n'ont décelé aucun média rapportant ce résultat.
Les milliards supposent l'inverse
Selon Gartner, les éditeurs de logiciels de toutes sortes sont en train d'«intégrer rapidement l'IA agentique» à leurs produits existants 3. Nanonets assure que plus de 10 000 équipes exécutent déjà sur sa plateforme le rapprochement de factures, la gestion des sinistres et la clôture mensuelle des comptes 4. Si le meilleur système ne réussit que 38 % des tâches de processus, l'essentiel du travail d'automatisation budgété revient faux, ou revient à un humain.
Si les 38 % se confirment, deux camps perdent : les entreprises qui déploient des agents sur la foi des affirmations des éditeurs, et les modèles de revenus logiciels calibrés pour une automatisation quasi totale du back-office. Le gagnant sera le premier à publier un score d'exécution vérifié largement supérieur.
L'arbitre vend aussi les agents
Nanonets n'est pas un arbitre neutre. La société note le marché : elle pilote TRACE et un classement public de 29 modèles de traitement intelligent des documents, où son propre OCR-3 occupe la première place 15. Elle vend aussi à ce marché : un blog qui promeut des plateformes « IA-native » face aux éditeurs historiques ABBYY et Kofax 4, et une bannière pour Trail, « le cerveau d'entreprise des agents d'IA » 1.
Ce que demande le test
TRACE est volontairement sévère. Chaque échantillon est une conversation Record-to-Report, les échanges d'une clôture comptable de fin de mois : environ 100 000 tokens de texte, avec des règles d'entreprise glissées en pleine phrase. Cinq échantillons portent 47 questions notées sur 388 critères, selon un barème du tout ou rien : une tâche n'est validée que si la réponse est juste et si chaque règle applicable est respectée. C'est un second modèle d'IA qui note, gpt-5.5 étant cité dans la configuration des échantillons 6.
Plus de 80 en lecture, 38 en exécution
Sur le classement documentaire de Nanonets lui-même, les mêmes modèles lisent les pages bien plus sûrement : Nanonets OCR-3 décroche 85,9 de score global, le GPT-5.4 d'OpenAI$1.18T — OpenAI, private, latest valuation $1.18T 83,5 et le Gemini-3-Pro de Google 82,8 5. Pour un acheteur, les deux scores pris ensemble signifient qu'un modèle peut lire correctement une page environ 86 fois sur 100 et échouer quand même sur la plupart des processus en plusieurs étapes qu'il exécute sous les règles d'une entreprise 1.
La lecture de documents est presque résolue ; le meilleur score d'exécution est de 38
Data
| Value | |
|---|---|
| Nanonets OCR-3 (lecture) | 85.9% |
| GPT-5.4 (lecture) | 83.5% |
| Gemini-3-Pro (lecture) | 82.8% |
| Claude Sonnet 4.6 (lecture) | 80.7% |
| Meilleur système testé (exécution, TRACE) | 38% |
Petit benchmark, partie intéressée
Les réserves sont réelles : cinq échantillons, 47 questions, une seule taille de contexte, un benchmark publié par l'éditeur lui-même, qui a des agents à vendre, et noté par une machine 6. Mais le jeu de données est en accès libre sous licence CC-BY-4.0, avec le code d'évaluation sur GitHub : n'importe qui peut refaire passer le test à l'ensemble des modèles, au lieu de croire le chiffre sur parole 67. Presque personne ne l'a fait : la fiche du jeu de données affiche 44 téléchargements sur le mois écoulé 6, le dépôt 39 étoiles et aucun fork 7, contre 288 000 téléchargements pour le propre modèle OCR de Nanonets 8.
Presque personne n'a refait tourner le benchmark : 44 téléchargements contre 288 000 pour le propre modèle de Nanonets
Data
| Téléchargements mensuels (jeu de données) / étoiles (dépôt) / téléchargements (modèle) | |
|---|---|
| Jeu de données du benchmark TRACE (Hugging Face) | 44 |
| Dépôt d'évaluation TRACE (GitHub) | 39 |
| Modèle OCR-3 de Nanonets (Hugging Face) | 288,000 |
Surveiller les pull requests
La prochaine mesure sera datée et publique : les soumissions de nouveaux systèmes atterrissent sur GitHub sous forme de pull requests 7. Aucun score vérifié nettement supérieur à 38 n'a été publié. Tant qu'un tel score n'existe pas, la ligne budgétaire défendable pour les agents d'entreprise, c'est que la plupart des travaux de processus en plusieurs étapes échouent au propre test du secteur.
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
