Eigener Nanonets-Benchmark: Der beste KI-Agent löst nur 38 Prozent der mehrstufigen Unternehmensaufgaben
Der private Dokumenten-KI-Anbieter Nanonets, dessen Plattform die Papierarbeit von mehr als 10.000 Teams automatisiert, hat einen offenen Benchmark veröffentlicht. Er misst, wie gut KI-Systeme Finanzprozesse ausführen, deren Regeln im Konversationsverlauf verborgen sind – das beste Ergebnis: 38 Prozent der Aufgaben vollständig richtig. Gemessen an prognostizierten KI-Ausgaben von 2,7 Billionen US-Dollar im Jahr 2026 ist das eine seltene brancheninterne Messung dessen, was Enterprise-Agenten tatsächlich liefern.
Vincent Jiang · 3 min read
Eine seit Juli öffentliche Zahl
Das beste KI-System, das Nanonets finden konnte, erledigt nur 38 Prozent der mehrstufigen Prozessaufgaben in Unternehmen vollständig richtig. Die Zahl steht auf der Forschungsseite von Nanonets, einem privaten Dokumenten-KI-Unternehmen aus San Francisco, unter TRACE – Task-Relevant Applied Constraint Execution –, einem offen publizierten Benchmark 1. Sie ist die Obergrenze für die Arbeit, hinter der im Jahr 2026 prognostizierte KI-Ausgaben von 2,7 Billionen US-Dollar stehen 3. Der Titel des Begleittexts benennt den Befund: Die Modelle finden die Regeln – und wenden sie dann nicht an 2.
Datensatz und Auswertungscode wurden zuletzt am 22. Juli 2026 aktualisiert 67. Eine Nachrichten- und Websuche am 14. Oktober 2026 fand kein Medium, das über das Ergebnis berichtet hätte.
Das Geld geht vom Gegenteil aus
Laut Gartner betten Softwareanbieter jeder Art derzeit rasant „agentische KI“ in ihre bestehenden Produkte ein 3. Nach Nanonets-Angaben wickeln bereits mehr als 10.000 Teams Rechnungsabgleich, Schadensfälle und Monatsabschluss auf der Plattform des Unternehmens ab 4. Schafft das beste System 38 Prozent der Prozessaufgaben, kommt der Großteil der budgetierten Automatisierungsarbeit weiterhin fehlerhaft zurück – oder landet wieder bei einem Menschen.
Halten die 38 Prozent stand, verlieren zwei Gruppen: Unternehmen, die Agenten auf Zusage der Anbieter hin einführen, und Erlösmodelle von Softwareanbietern, deren Preise nahezu vollständige Back-Office-Automatisierung unterstellen. Gewinner ist, wer zuerst einen verifizierten Ausführungswert weit oberhalb dieser Marke veröffentlicht.
Der Prüfer verkauft selbst die Agenten
Nanonets ist kein neutraler Schiedsrichter. Das Unternehmen benotet die Branche: Es betreibt TRACE und eine öffentliche Bestenliste, die 29 Modelle zur intelligenten Dokumentenverarbeitung vergleicht – mit dem eigenen OCR-3 auf Platz eins 15. Gleichzeitig verkauft es in ebendiese Branche: Ein Blog bewirbt dort „KI-native“ Plattformen gegen die Altanbieter ABBYY und Kofax 4, ein Werbebanner preist Trail an, „das Firmengehirn für KI-Agenten“ 1.
Was der Test verlangt
TRACE ist bewusst streng. Jede Stichprobe ist eine Record-to-Report-Konversation, das Hin und Her eines Monatsabschlusses in der Buchhaltung: rund 100.000 Token Text, mit Unternehmensregeln, die mitten im Satz eingestreut werden. Fünf Stichproben enthalten 47 Fragen, die anhand von 388 Kriterien bewertet werden – und zwar nach dem Alles-oder-nichts-Prinzip: Eine Aufgabe gilt nur als bestanden, wenn die Antwort stimmt und jede einschlägige Regel eingehalten wird. Die Benotung übernimmt ein zweites KI-Modell; im Setup der Stichproben ist gpt-5.5 genannt 6.
Lesen auf 80er-Niveau, Ausführung bei 38 Prozent
Auf Nanonets' eigener Dokumenten-Bestenliste lesen dieselben Modelle Seiten weitaus zuverlässiger: Nanonets OCR-3 kommt insgesamt auf 85,9 Punkte, die GPT-5.4 von OpenAI$1.18T — OpenAI, private, latest valuation $1.18T auf 83,5, der Gemini-3-Pro von Google auf 82,8 5. Für Käufer bedeuten die beiden Werte zusammen: Ein Modell kann eine Seite in rund 86 von 100 Fällen richtig lesen – und scheitert dennoch bei den meisten mehrstufigen Prozessen, die es nach den Regeln eines Unternehmens abarbeitet 1.
Dokumente lesen ist fast gelöst – die beste Ausführungsquote liegt bei 38
Data
| Value | |
|---|---|
| Nanonets OCR-3 (Lesen) | 85.9% |
| GPT-5.4 (Lesen) | 83.5% |
| Gemini-3-Pro (Lesen) | 82.8% |
| Claude Sonnet 4.6 (Lesen) | 80.7% |
| Bestes getestetes System (Ausführung, TRACE) | 38% |
Kleiner Benchmark, interessierte Partei
Die Vorbehalte sind berechtigt: fünf Stichproben, 47 Fragen, eine einzige Kontextgröße, maschinell benotet und selbst publiziert von einem Anbieter, der KI-Agenten zu verkaufen hat 6. Doch der Datensatz ist unter CC-BY-4.0 frei verfügbar, der Auswertungscode liegt auf GitHub – jeder kann das gesamte Feld also selbst neu messen, statt der Zahl zu vertrauen 67. Getan hat das fast niemand: Die Datensatzkarte verzeichnet 44 Downloads im vergangenen Monat 6, das Repository 39 Sterne und keine Forks 7 – gegenüber 288.000 Downloads für Nanonets' eigenes OCR-Modell 8.
Fast niemand hat den Benchmark nachgemessen: 44 Downloads gegenüber 288.000 für Nanonets' eigenes Modell
Data
| Monatliche Downloads (Datensatz) / Sterne (Repository) / Downloads (Modell) | |
|---|---|
| TRACE-Benchmark-Datensatz (Hugging Face) | 44 |
| TRACE-Auswertungs-Repository (GitHub) | 39 |
| OCR-3-Modell von Nanonets (Hugging Face) | 288,000 |
Jetzt zählen die Pull Requests
Der nächste Messwert wird ein Datum tragen und öffentlich sein: Einreichungen neuer Systeme landen als Pull Requests auf GitHub 7. Einen verifizierten Wert, der weit über 38 läge, hat bislang niemand eingereicht. Bis einer vorliegt, lässt sich für Enterprise-Agenten nur eine Budgetlinie vertreten: Der größte Teil mehrstufiger Prozessarbeit scheitert am eigenen Test der Branche.
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
