नैनोनेट्स के अपने बेंचमार्क के मुताबिक सबसे बेहतर एआई एजेंट भी बहु-चरणीय एंटरप्राइज टास्क के सिर्फ 38% ही पूरे कर पाता है
प्राइवेट डॉक्यूमेंट-एआई कंपनी नैनोनेट्स — जिसके प्लेटफॉर्म पर 10,000 से ज़्यादा टीमें अपना पेपरवर्क ऑटोमेट करती हैं — ने एक ओपन बेंचमार्क जारी किया है। यह आंकता है कि बातचीत में छिपाए गए नियमों के तहत एआई सिस्टम फाइनेंस प्रोसेस कितनी सही चला पाते हैं। सबसे बेहतर नतीजा: टास्क के सिर्फ 38% पूरी तरह सही। 2026 में एआई पर अनुमानित 2.7 ट्रिलियन डॉलर के खर्च के मद्देनज़र यह इंडस्ट्री के भीतर से आई एक दुर्लभ पैमाइश है कि एंटरप्राइज एजेंट आखिर सच में क्या डिलीवर करते हैं।
Vincent Jiang · 3 min read
जुलाई से खुलेआम सबकी नज़र में पड़ा एक आंकड़ा
नैनोनेट्स को जो सबसे बेहतर एआई सिस्टम मिला, वह भी बहु-चरणीय एंटरप्राइज प्रोसेस टास्क में सिर्फ 38% ही पूरी तरह सही पूरा करता है। यह आंकड़ा सैन फ्रांसिस्को स्थित प्राइवेट डॉक्यूमेंट-एआई कंपनी नैनोनेट्स के रिसर्च पेज पर, ट्रेस (TRACE, यानी Task-Relevant Applied Constraint Execution) नाम के ओपन बेंचमार्क के तहत दर्ज है 1। यह उस काम की ऊपरी सीमा है जिसके लिए 2026 में 2.7 ट्रिलियन डॉलर के एआई खर्च का अनुमान है 3। रिसर्च नोट का शीर्षक खुद निष्कर्ष बता देता है: मॉडल नियम ढूंढ तो लेते हैं, पर लागू नहीं कर पाते 2।
डेटासेट और उसका स्कोरिंग कोड आखिरी बार 22 जुलाई 2026 को अपडेट किए गए थे 67। 14 अक्टूबर 2026 को की गई न्यूज़ और वेब सर्च में यह नतीजा छापता कोई मीडिया आउटलेट नहीं मिला।
पैसा उल्टी धारणा पर चल रहा है
गार्टनर का कहना है कि हर तरह के सॉफ्टवेयर वेंडर अपने मौजूदा प्रोडक्ट्स में "तेज़ी से एजेंटिक एआई (agentic AI) जोड़ रहे हैं" 3। नैनोनेट्स के मुताबिक उसके प्लेटफॉर्म पर पहले से ही 10,000 से ज़्यादा टीमें इनवॉइस मैचिंग, क्लेम और मंथ-एंड क्लोज़ (महीने के अंत का बंद हिसाब) चलाती हैं 4। अगर सबसे बेहतर सिस्टम भी प्रोसेस टास्क के सिर्फ 38% पर खरा उतरता है, तो बजट में शामिल ऑटोमेशन का ज़्यादातर काम या तो गलत लौटता है, या फिर इंसान के पास लौट आता है।
अगर यह 38% ही सहे रहा, तो घाटे में दो पक्ष हैं — वेंडर के दावों के भरोसे एजेंट लगाने वाली एंटरप्राइज और वे सॉफ्टवेयर रेवेन्यू मॉडल जिनकी कीमतें लगभग पूरे बैक-ऑफिस ऑटोमेशन के हिसाब से लगाई गई हैं। जीत उसकी होगी जो इससे काफी ऊपर का कोई वेरिफाइड एक्जीक्यूशन स्कोर सबसे पहले दर्ज कराए।
नंबर लगाने वाला खुद भी एजेंट बेचता है
नैनोनेट्स कोई न्यूट्रल रेफरी नहीं है। वह इसी मैदान का आंकन भी करता है — ट्रेस चलाता है और 29 इंटेलिजेंट डॉक्यूमेंट प्रोसेसिंग मॉडलों की रैंकिंग वाला एक पब्लिक लीडरबोर्ड, जिसमें उसका अपना OCR-3 नंबर एक पर है 15। वह इसी मैदान में बिक्री भी करता है: पुराने वेंडर ABBYY और Kofax के मुकाबले 'एआई-नेटिव' प्लेटफॉर्म की मार्केटिंग करता एक ब्लॉग 4, और 'एआई एजेंटों के लिए कंपनी का दिमाग' कहे जाने वाले Trail का बैनर 1।
टेस्ट क्या जांचता है
ट्रेस जानबूझकर कठोर रखा गया है। हर सैंपल एक रिकॉर्ड-टू-रिपोर्ट बातचीत है — महीने के अंत का हिसाब बंद करने की आपसी बातचीत — करीब 1 लाख टोकन लंबी, जिसमें कंपनी के नियम बात के बीच में ही छोड़ दिए जाते हैं। पांच सैंपलों में 47 सवाल हैं, जो 388 मापदंडों पर जांचे जाते हैं; स्कोरिंग का नियम या तो सब या कुछ नहीं (all-or-nothing) है — टास्क तभी पास होता है जब जवाब सही हो और उस पर लागू हर नियम का पालन हुआ हो। आंकने का काम एक दूसरे एआई मॉडल का है; सैंपल सेटअप में gpt-5.5 का नाम दर्ज है 6।
पढ़ने में 80 के पार, निष्पादन में सिर्फ 38
नैनोनेट्स के अपने ही डॉक्यूमेंट लीडरबोर्ड पर यही मॉडल पेज पढ़ने में कहीं ज़्यादा भरोसेमंद हैं: नैनोनेट्स OCR-3 कुल मिलाकर 85.9 पर, ओपनएआई$1.18T — ओपनएआई, private, latest valuation $1.18T का GPT-5.4 83.5 पर और गूगल का Gemini-3-Pro 82.8 पर 5। खरीदार के लिए इन दोनों स्कोरों को साथ रखने का मतलब यह है कि कोई मॉडल 100 में करीब 86 बार पेज सही पढ़ लेता है, फिर भी कंपनी के नियमों के तहत चलाई जाने वाली ज़्यादातर बहु-चरणीय प्रोसेसों में नाकाम रह जाता है 1।
दस्तावेज़ पढ़ना लगभग हल; सबसे अच्छा निष्पादन स्कोर 38
Data
| Value | |
|---|---|
| नैनोनेट्स OCR-3 (रीडिंग) | 85.9% |
| GPT-5.4 (रीडिंग) | 83.5% |
| Gemini-3-Pro (रीडिंग) | 82.8% |
| Claude Sonnet 4.6 (रीडिंग) | 80.7% |
| टेस्ट किए गए सिस्टमों में सबसे अच्छा (निष्पादन, ट्रेस) | 38% |
छोटा बेंचमार्क, हितबद्ध पक्ष
इसकी सीमाएं असली हैं: पांच सैंपल, 47 सवाल, एक ही कॉन्टेक्स्ट साइज़, एजेंट बेचने वाली वेंडर की ओर से खुद प्रकाशित, मशीन से आंका हुआ 6। लेकिन डेटासेट CC-BY-4.0 के तहत ओपन है और उसका इवैल्युएशन कोड GitHub पर मौजूद है, यानी नंबर पर भरोसा करने के बजाय कोई भी पूरे फील्ड को दोबारा चलाकर जांच सकता है 67। लगभग किसी ने नहीं किया है: डेटासेट कार्ड बताता है कि पिछले एक महीने में डाउनलोड 44 रहे 6, रिपॉज़िटरी पर 39 स्टार हैं और एक भी फोर्क नहीं 7 — जबकि नैनोनेट्स के अपने OCR मॉडल के डाउनलोड 2.88 लाख हैं 8।
बेंचमार्क दोहराने वाले लगभग कोई नहीं: 44 डाउनलोड बनाम नैनोनेट्स के अपने मॉडल के 2.88 लाख डाउनलोड
Data
| मासिक डाउनलोड (डेटासेट) / स्टार (रिपॉज़िटरी) / डाउनलोड (मॉडल) | |
|---|---|
| ट्रेस (TRACE) बेंचमार्क डेटासेट (Hugging Face) | 44 |
| ट्रेस (TRACE) इवैल्युएशन रिपॉज़िटरी (GitHub) | 39 |
| नैनोनेट्स OCR-3 मॉडल (Hugging Face) | 288,000 |
पुल रिक्वेस्ट पर नज़र रखिए
अगला आंकड़ा तारीख के साथ, खुलेआम सामने आएगा: नए सिस्टम की एंट्री GitHub पर पुल रिक्वेस्ट (pull request) के रूप में दर्ज होती है 7। 38 से कहीं ऊपर का कोई सत्यापित स्कोर अब तक पोस्ट नहीं हुआ है। जब तक ऐसा नहीं होता, एंटरप्राइज एजेंट पर खर्च की जो बजट लाइन जायज़ ठहरती है, वह यही है कि बहु-चरणीय प्रोसेस का ज़्यादातर काम इंडस्ट्री के अपने ही टेस्ट पर फेल हो रहा है।
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
