--- title: "Eigener Nanonets-Benchmark: Der beste KI-Agent löst nur 38 Prozent der mehrstufigen Unternehmensaufgaben" description: "Der private Dokumenten-KI-Anbieter Nanonets, dessen Plattform die Papierarbeit von mehr als 10.000 Teams automatisiert, hat einen offenen Benchmark veröffentlicht. Er misst, wie gut KI-Systeme Finanzprozesse ausführen, deren Regeln im Konversationsverlauf verborgen sind – das beste Ergebnis: 38 Prozent der Aufgaben vollständig richtig. Gemessen an prognostizierten KI-Ausgaben von 2,7 Billionen US-Dollar im Jahr 2026 ist das eine seltene brancheninterne Messung dessen, was Enterprise-Agenten tatsächlich liefern." publisher: "The Inference" section: "Platforms" published: 2026-10-14T21:08:10.037Z modified: 2026-10-14T21:08:10.037Z canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/de language: de keywords: "AI Agents, Benchmarks, Enterprise Software, Document AI, Finance Automation" --- # Eigener Nanonets-Benchmark: Der beste KI-Agent löst nur 38 Prozent der mehrstufigen Unternehmensaufgaben > Der private Dokumenten-KI-Anbieter Nanonets, dessen Plattform die Papierarbeit von mehr als 10.000 Teams automatisiert, hat einen offenen Benchmark veröffentlicht. Er misst, wie gut KI-Systeme Finanzprozesse ausführen, deren Regeln im Konversationsverlauf verborgen sind – das beste Ergebnis: 38 Prozent der Aufgaben vollständig richtig. Gemessen an prognostizierten KI-Ausgaben von 2,7 Billionen US-Dollar im Jahr 2026 ist das eine seltene brancheninterne Messung dessen, was Enterprise-Agenten tatsächlich liefern. ## Eine seit Juli öffentliche Zahl Das beste KI-System, das [Nanonets](https://nanonets.com/research) finden konnte, erledigt nur 38 Prozent der mehrstufigen Prozessaufgaben in Unternehmen vollständig richtig. Die Zahl steht auf der Forschungsseite von Nanonets, einem privaten Dokumenten-KI-Unternehmen aus San Francisco, unter TRACE – Task-Relevant Applied Constraint Execution –, [einem offen publizierten Benchmark](https://nanonets.com/research/trace) [1]. Sie ist die Obergrenze für die Arbeit, hinter der im Jahr 2026 prognostizierte KI-Ausgaben von 2,7 Billionen US-Dollar stehen [3]. Der Titel des Begleittexts benennt den Befund: Die Modelle finden die Regeln – und wenden sie dann nicht an [2]. Datensatz und Auswertungscode wurden zuletzt am 22. Juli 2026 aktualisiert [6][7]. Eine Nachrichten- und Websuche am 14. Oktober 2026 fand kein Medium, das über das Ergebnis berichtet hätte. ## Das Geld geht vom Gegenteil aus Laut Gartner betten Softwareanbieter jeder Art derzeit rasant „[agentische KI](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/)“ in ihre bestehenden Produkte ein [3]. Nach Nanonets-Angaben wickeln bereits mehr als 10.000 Teams Rechnungsabgleich, Schadensfälle und Monatsabschluss auf der Plattform des Unternehmens ab [4]. Schafft das beste System 38 Prozent der Prozessaufgaben, kommt der Großteil der budgetierten Automatisierungsarbeit weiterhin fehlerhaft zurück – oder landet wieder bei einem Menschen. Halten die 38 Prozent stand, verlieren zwei Gruppen: Unternehmen, die Agenten auf Zusage der Anbieter hin einführen, und Erlösmodelle von Softwareanbietern, deren Preise nahezu vollständige Back-Office-Automatisierung unterstellen. Gewinner ist, wer zuerst einen verifizierten Ausführungswert weit oberhalb dieser Marke veröffentlicht. ## Der Prüfer verkauft selbst die Agenten Nanonets ist kein neutraler Schiedsrichter. Das Unternehmen benotet die Branche: Es betreibt TRACE und [eine öffentliche Bestenliste, die 29 Modelle zur intelligenten Dokumentenverarbeitung vergleicht](https://www.idp-leaderboard.org/) – mit dem eigenen OCR-3 auf Platz eins [1][5]. Gleichzeitig verkauft es in ebendiese Branche: Ein Blog bewirbt dort „KI-native“ Plattformen gegen die Altanbieter ABBYY und Kofax [4], ein Werbebanner preist Trail an, „das Firmengehirn für KI-Agenten“ [1]. ## Was der Test verlangt TRACE ist bewusst streng. Jede Stichprobe ist eine Record-to-Report-Konversation, das Hin und Her eines Monatsabschlusses in der Buchhaltung: rund 100.000 Token Text, mit Unternehmensregeln, die mitten im Satz eingestreut werden. Fünf Stichproben enthalten 47 Fragen, die anhand von 388 Kriterien bewertet werden – und zwar nach dem Alles-oder-nichts-Prinzip: Eine Aufgabe gilt nur als bestanden, wenn die Antwort stimmt und jede einschlägige Regel eingehalten wird. Die Benotung übernimmt ein zweites KI-Modell; im Setup der Stichproben ist gpt-5.5 genannt [6]. ## Lesen auf 80er-Niveau, Ausführung bei 38 Prozent Auf Nanonets' eigener Dokumenten-Bestenliste lesen dieselben Modelle Seiten weitaus zuverlässiger: Nanonets OCR-3 kommt insgesamt auf 85,9 Punkte, die GPT-5.4 von [OpenAI](https://theinference.org/markets/companies/openai) auf 83,5, der Gemini-3-Pro von Google auf 82,8 [5]. Für Käufer bedeuten die beiden Werte zusammen: Ein Modell kann eine Seite in rund 86 von 100 Fällen richtig lesen – und scheitert dennoch bei den meisten mehrstufigen Prozessen, die es nach den Regeln eines Unternehmens abarbeitet [1]. *Chart: **Dokumente lesen ist fast gelöst – die beste Ausführungsquote liegt bei 38** Balkendiagramm, das die Benchmarkwerte beim Dokumentenlesen von vier Modellen im 80er-Bereich mit der besten TRACE-Ausführungsquote von 38 Prozent vergleicht* *Gesamtwert auf Nanonets' IDP Leaderboard (Mittelwert dreier Dokumenten-Benchmarks, Stand: 14. Oktober 2026) im Vergleich zur besten task_pass_rate auf TRACE (Anteil der 47 Prozessaufgaben vollständig richtig, Bewertung nach dem Alles-oder-nichts-Prinzip; Datensatz aktualisiert am 22. Juli 2026). Quellen: Nanonets Research [1]; IDP Leaderboard [5]. [1][5]* ## Kleiner Benchmark, interessierte Partei Die Vorbehalte sind berechtigt: fünf Stichproben, 47 Fragen, eine einzige Kontextgröße, maschinell benotet und selbst publiziert von einem Anbieter, der KI-Agenten zu verkaufen hat [6]. Doch [der Datensatz ist unter CC-BY-4.0 frei verfügbar](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset), der Auswertungscode liegt auf GitHub – jeder kann das gesamte Feld also selbst neu messen, statt der Zahl zu vertrauen [6][7]. Getan hat das fast niemand: Die Datensatzkarte verzeichnet 44 Downloads im vergangenen Monat [6], das Repository 39 Sterne und keine Forks [7] – gegenüber 288.000 Downloads für Nanonets' eigenes OCR-Modell [8]. *Chart: **Fast niemand hat den Benchmark nachgemessen: 44 Downloads gegenüber 288.000 für Nanonets' eigenes Modell** Säulendiagramm zu 44 monatlichen Downloads des TRACE-Benchmark-Datensatzes, 39 Sternen im zugehörigen Auswertungs-Repository auf GitHub und 288.000 Downloads des OCR-3-Modells von Nanonets* *Interesse am Benchmark gegen Interesse am eigenen Modell des Anbieters: Downloads des TRACE-Datensatzes im vergangenen Monat (Hugging Face, Stand 14. Oktober 2026), Sterne im Auswertungs-Repository (GitHub, keine Forks) sowie Downloads des OCR-Modells von Nanonets (Hugging Face). Quellen: Hugging Face [6]; GitHub [7]; Hugging Face [8]. [6][7][8]* ## Jetzt zählen die Pull Requests Der nächste Messwert wird ein Datum tragen und öffentlich sein: [Einreichungen neuer Systeme landen als Pull Requests auf GitHub](https://github.com/NanoNets/trace-benchmark) [7]. Einen verifizierten Wert, der weit über 38 läge, hat bislang niemand eingereicht. Bis einer vorliegt, lässt sich für Enterprise-Agenten nur eine Budgetlinie vertreten: Der größte Teil mehrstufiger Prozessarbeit scheitert am eigenen Test der Branche. ## Takeaway Ein von einem Anbieter veröffentlichter offener Benchmark zeigt: Das beste KI-System schließt nur 38 Prozent der mehrstufigen Prozessaufgaben in Unternehmen vollständig ab – obwohl dieselben Modelle Dokumente mit Werten von mehr als 80 Prozent lesen. Bis ein verifizierter höherer Wert im offenen Repository landet, beruhen die Budgets für Enterprise-KI-Agenten auf einer Zahl, die niemand übertroffen hat. ## Sources 1. [Nanonets, Research index page, accessed 14 October 2026](https://nanonets.com/research) 2. [Nanonets Research, TRACE benchmark page: LLMs search & retrieve rules, but still don't apply them, accessed 14 October 2026](https://nanonets.com/research/trace) 3. [BigDATAwire, Gartner Forecasts Worldwide AI Spending to Grow 49.5% in 2026, 18 September 2026](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/) 4. [Nanonets, Blog index (AI Agents for Enterprise Data Processing), accessed 14 October 2026](https://nanonets.com/blog/) 5. [IDP Leaderboard, Intelligent Document Processing Leaderboard, accessed 14 October 2026](https://www.idp-leaderboard.org/) 6. [Hugging Face, nanonets/trace-benchmark-dataset dataset card, updated 22 July 2026](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset) 7. [GitHub, NanoNets/trace-benchmark evaluation code and submission repo, last commit 22 July 2026](https://github.com/NanoNets/trace-benchmark) 8. [Hugging Face, nanonets organization page, accessed 14 October 2026](https://huggingface.co/nanonets) --- Eigener Nanonets-Benchmark: Der beste KI-Agent löst nur 38 Prozent der mehrstufigen Unternehmensaufgaben — The Inference. Canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/de