---
title: "नैनोनेट्स के अपने बेंचमार्क के मुताबिक सबसे बेहतर एआई एजेंट भी बहु-चरणीय एंटरप्राइज टास्क के सिर्फ 38% ही पूरे कर पाता है"
description: "प्राइवेट डॉक्यूमेंट-एआई कंपनी नैनोनेट्स — जिसके प्लेटफॉर्म पर 10,000 से ज़्यादा टीमें अपना पेपरवर्क ऑटोमेट करती हैं — ने एक ओपन बेंचमार्क जारी किया है। यह आंकता है कि बातचीत में छिपाए गए नियमों के तहत एआई सिस्टम फाइनेंस प्रोसेस कितनी सही चला पाते हैं। सबसे बेहतर नतीजा: टास्क के सिर्फ 38% पूरी तरह सही। 2026 में एआई पर अनुमानित 2.7 ट्रिलियन डॉलर के खर्च के मद्देनज़र यह इंडस्ट्री के भीतर से आई एक दुर्लभ पैमाइश है कि एंटरप्राइज एजेंट आखिर सच में क्या डिलीवर करते हैं।"
publisher: "The Inference"
section: "Platforms"
published: 2026-10-14T21:08:10.037Z
modified: 2026-10-14T21:08:10.037Z
canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/hi
language: hi
keywords: "AI Agents, Benchmarks, Enterprise Software, Document AI, Finance Automation"
---

# नैनोनेट्स के अपने बेंचमार्क के मुताबिक सबसे बेहतर एआई एजेंट भी बहु-चरणीय एंटरप्राइज टास्क के सिर्फ 38% ही पूरे कर पाता है

> प्राइवेट डॉक्यूमेंट-एआई कंपनी नैनोनेट्स — जिसके प्लेटफॉर्म पर 10,000 से ज़्यादा टीमें अपना पेपरवर्क ऑटोमेट करती हैं — ने एक ओपन बेंचमार्क जारी किया है। यह आंकता है कि बातचीत में छिपाए गए नियमों के तहत एआई सिस्टम फाइनेंस प्रोसेस कितनी सही चला पाते हैं। सबसे बेहतर नतीजा: टास्क के सिर्फ 38% पूरी तरह सही। 2026 में एआई पर अनुमानित 2.7 ट्रिलियन डॉलर के खर्च के मद्देनज़र यह इंडस्ट्री के भीतर से आई एक दुर्लभ पैमाइश है कि एंटरप्राइज एजेंट आखिर सच में क्या डिलीवर करते हैं।

## जुलाई से खुलेआम सबकी नज़र में पड़ा एक आंकड़ा

[नैनोनेट्स](https://nanonets.com/research) को जो सबसे बेहतर एआई सिस्टम मिला, वह भी बहु-चरणीय एंटरप्राइज प्रोसेस टास्क में सिर्फ 38% ही पूरी तरह सही पूरा करता है। यह आंकड़ा सैन फ्रांसिस्को स्थित प्राइवेट डॉक्यूमेंट-एआई कंपनी नैनोनेट्स के रिसर्च पेज पर, ट्रेस (TRACE, यानी Task-Relevant Applied Constraint Execution) नाम के [ओपन बेंचमार्क](https://nanonets.com/research/trace) के तहत दर्ज है [1]। यह उस काम की ऊपरी सीमा है जिसके लिए 2026 में 2.7 ट्रिलियन डॉलर के एआई खर्च का अनुमान है [3]। रिसर्च नोट का शीर्षक खुद निष्कर्ष बता देता है: मॉडल नियम ढूंढ तो लेते हैं, पर लागू नहीं कर पाते [2]।

डेटासेट और उसका स्कोरिंग कोड आखिरी बार 22 जुलाई 2026 को अपडेट किए गए थे [6][7]। 14 अक्टूबर 2026 को की गई न्यूज़ और वेब सर्च में यह नतीजा छापता कोई मीडिया आउटलेट नहीं मिला।

## पैसा उल्टी धारणा पर चल रहा है

गार्टनर का कहना है कि हर तरह के सॉफ्टवेयर वेंडर अपने मौजूदा प्रोडक्ट्स में "[तेज़ी से एजेंटिक एआई (agentic AI) जोड़ रहे हैं](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/)" [3]। नैनोनेट्स के मुताबिक उसके प्लेटफॉर्म पर पहले से ही 10,000 से ज़्यादा टीमें इनवॉइस मैचिंग, क्लेम और मंथ-एंड क्लोज़ (महीने के अंत का बंद हिसाब) चलाती हैं [4]। अगर सबसे बेहतर सिस्टम भी प्रोसेस टास्क के सिर्फ 38% पर खरा उतरता है, तो बजट में शामिल ऑटोमेशन का ज़्यादातर काम या तो गलत लौटता है, या फिर इंसान के पास लौट आता है।

अगर यह 38% ही सहे रहा, तो घाटे में दो पक्ष हैं — वेंडर के दावों के भरोसे एजेंट लगाने वाली एंटरप्राइज और वे सॉफ्टवेयर रेवेन्यू मॉडल जिनकी कीमतें लगभग पूरे बैक-ऑफिस ऑटोमेशन के हिसाब से लगाई गई हैं। जीत उसकी होगी जो इससे काफी ऊपर का कोई वेरिफाइड एक्जीक्यूशन स्कोर सबसे पहले दर्ज कराए।

## नंबर लगाने वाला खुद भी एजेंट बेचता है

नैनोनेट्स कोई न्यूट्रल रेफरी नहीं है। वह इसी मैदान का आंकन भी करता है — ट्रेस चलाता है और [29 इंटेलिजेंट डॉक्यूमेंट प्रोसेसिंग मॉडलों की रैंकिंग वाला एक पब्लिक लीडरबोर्ड](https://www.idp-leaderboard.org/), जिसमें उसका अपना OCR-3 नंबर एक पर है [1][5]। वह इसी मैदान में बिक्री भी करता है: पुराने वेंडर ABBYY और Kofax के मुकाबले 'एआई-नेटिव' प्लेटफॉर्म की मार्केटिंग करता एक ब्लॉग [4], और 'एआई एजेंटों के लिए कंपनी का दिमाग' कहे जाने वाले Trail का बैनर [1]।

## टेस्ट क्या जांचता है

ट्रेस जानबूझकर कठोर रखा गया है। हर सैंपल एक रिकॉर्ड-टू-रिपोर्ट बातचीत है — महीने के अंत का हिसाब बंद करने की आपसी बातचीत — करीब 1 लाख टोकन लंबी, जिसमें कंपनी के नियम बात के बीच में ही छोड़ दिए जाते हैं। पांच सैंपलों में 47 सवाल हैं, जो 388 मापदंडों पर जांचे जाते हैं; स्कोरिंग का नियम या तो सब या कुछ नहीं (all-or-nothing) है — टास्क तभी पास होता है जब जवाब सही हो और उस पर लागू हर नियम का पालन हुआ हो। आंकने का काम एक दूसरे एआई मॉडल का है; सैंपल सेटअप में gpt-5.5 का नाम दर्ज है [6]।

## पढ़ने में 80 के पार, निष्पादन में सिर्फ 38

नैनोनेट्स के अपने ही डॉक्यूमेंट लीडरबोर्ड पर यही मॉडल पेज पढ़ने में कहीं ज़्यादा भरोसेमंद हैं: नैनोनेट्स OCR-3 कुल मिलाकर 85.9 पर, [ओपनएआई](https://theinference.org/markets/companies/openai) का GPT-5.4 83.5 पर और गूगल का Gemini-3-Pro 82.8 पर [5]। खरीदार के लिए इन दोनों स्कोरों को साथ रखने का मतलब यह है कि कोई मॉडल 100 में करीब 86 बार पेज सही पढ़ लेता है, फिर भी कंपनी के नियमों के तहत चलाई जाने वाली ज़्यादातर बहु-चरणीय प्रोसेसों में नाकाम रह जाता है [1]।

*Chart: **दस्तावेज़ पढ़ना लगभग हल; सबसे अच्छा निष्पादन स्कोर 38** बार चार्ट, जो चार मॉडलों के डॉक्यूमेंट रीडिंग बेंचमार्क स्कोर (सभी 80 के पार) की तुलना ट्रेस (TRACE) पर सबसे अच्छे प्रोसेस-निष्पादन स्कोर 38% से करता है*

*नैनोनेट्स के IDP लीडरबोर्ड पर कुल मिलाकर स्कोर (तीन डॉक्यूमेंट बेंचमार्क का औसत; 14 अक्टूबर 2026 को पढ़े गए आंकड़े) बनाम ट्रेस (TRACE) पर सबसे बेहतर task_pass_rate (47 प्रोसेस टास्क में से पूरी तरह सही का हिस्सा; या तो सब या कुछ नहीं (all-or-nothing) स्कोरिंग; डेटासेट अपडेट 22 जुलाई 2026)। स्रोत: नैनोनेट्स रिसर्च [1]; IDP लीडरबोर्ड [5]। [1][5]*

## छोटा बेंचमार्क, हितबद्ध पक्ष

इसकी सीमाएं असली हैं: पांच सैंपल, 47 सवाल, एक ही कॉन्टेक्स्ट साइज़, एजेंट बेचने वाली वेंडर की ओर से खुद प्रकाशित, मशीन से आंका हुआ [6]। लेकिन [डेटासेट CC-BY-4.0 के तहत ओपन](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset) है और उसका इवैल्युएशन कोड GitHub पर मौजूद है, यानी नंबर पर भरोसा करने के बजाय कोई भी पूरे फील्ड को दोबारा चलाकर जांच सकता है [6][7]। लगभग किसी ने नहीं किया है: डेटासेट कार्ड बताता है कि पिछले एक महीने में डाउनलोड 44 रहे [6], रिपॉज़िटरी पर 39 स्टार हैं और एक भी फोर्क नहीं [7] — जबकि नैनोनेट्स के अपने OCR मॉडल के डाउनलोड 2.88 लाख हैं [8]।

*Chart: **बेंचमार्क दोहराने वाले लगभग कोई नहीं: 44 डाउनलोड बनाम नैनोनेट्स के अपने मॉडल के 2.88 लाख डाउनलोड** कॉलम चार्ट जिसमें ट्रेस (TRACE) बेंचमार्क डेटासेट के 44 मासिक डाउनलोड, उसकी GitHub इवैल्युएशन रिपॉज़िटरी के 39 स्टार और नैनोनेट्स के OCR-3 मॉडल के 2.88 लाख डाउनलोड दिखाए गए हैं*

*बेंचमार्क में दिलचस्पी बनाम वेंडर के अपने मॉडल में दिलचस्पी: पिछले एक महीने में ट्रेस (TRACE) डेटासेट के डाउनलोड (Hugging Face, 14 अक्टूबर 2026 को देखा गया), इवैल्युएशन रिपॉज़िटरी पर स्टार (GitHub, कोई फोर्क नहीं) और नैनोनेट्स OCR मॉडल के डाउनलोड (Hugging Face)। स्रोत: Hugging Face [6]; GitHub [7]; Hugging Face [8]। [6][7][8]*

## पुल रिक्वेस्ट पर नज़र रखिए

अगला आंकड़ा तारीख के साथ, खुलेआम सामने आएगा: [नए सिस्टम की एंट्री GitHub पर पुल रिक्वेस्ट (pull request) के रूप में दर्ज होती है](https://github.com/NanoNets/trace-benchmark) [7]। 38 से कहीं ऊपर का कोई सत्यापित स्कोर अब तक पोस्ट नहीं हुआ है। जब तक ऐसा नहीं होता, एंटरप्राइज एजेंट पर खर्च की जो बजट लाइन जायज़ ठहरती है, वह यही है कि बहु-चरणीय प्रोसेस का ज़्यादातर काम इंडस्ट्री के अपने ही टेस्ट पर फेल हो रहा है।

## Takeaway

वेंडर द्वारा जारी एक ओपन बेंचमार्क बताता है कि सबसे बेहतर एआई सिस्टम भी बहु-चरणीय एंटरप्राइज प्रोसेस टास्क का सिर्फ 38% ही पूरी तरह पूरा करता है, जबकि वही मॉडल डॉक्यूमेंट पढ़ने में 80% के पार स्कोर लेते हैं; ओपन रिपॉजिटरी में इससे ऊंचा कोई वेरिफाइड स्कोर दर्ज होने तक एंटरप्राइज एजेंट के बजट उसी आंकड़े पर खड़े हैं जिसे आज तक किसी ने तोड़ा नहीं है।

## Sources

1. [Nanonets, Research index page, accessed 14 October 2026](https://nanonets.com/research)
2. [Nanonets Research, TRACE benchmark page: LLMs search & retrieve rules, but still don't apply them, accessed 14 October 2026](https://nanonets.com/research/trace)
3. [BigDATAwire, Gartner Forecasts Worldwide AI Spending to Grow 49.5% in 2026, 18 September 2026](https://www.hpcwire.com/bigdatawire/this-just-in/gartner-forecasts-worldwide-ai-spending-to-grow-49-5-in-2026/)
4. [Nanonets, Blog index (AI Agents for Enterprise Data Processing), accessed 14 October 2026](https://nanonets.com/blog/)
5. [IDP Leaderboard, Intelligent Document Processing Leaderboard, accessed 14 October 2026](https://www.idp-leaderboard.org/)
6. [Hugging Face, nanonets/trace-benchmark-dataset dataset card, updated 22 July 2026](https://huggingface.co/datasets/nanonets/trace-benchmark-dataset)
7. [GitHub, NanoNets/trace-benchmark evaluation code and submission repo, last commit 22 July 2026](https://github.com/NanoNets/trace-benchmark)
8. [Hugging Face, nanonets organization page, accessed 14 October 2026](https://huggingface.co/nanonets)


---

नैनोनेट्स के अपने बेंचमार्क के मुताबिक सबसे बेहतर एआई एजेंट भी बहु-चरणीय एंटरप्राइज टास्क के सिर्फ 38% ही पूरे कर पाता है — The Inference. Canonical: https://theinference.org/article/nanonets-own-benchmark-says-the-best-ai-agent-finishes-just-38-of-multi-step-enterprise-tasks/hi