मर्कर के बेंचमार्क में 12 असली सीपीए फेल; कंपनी जो 'समाधान' बेचती है, वह है — ज़्यादा इंसान
10 अरब डॉलर की एआई-लेबर ब्रोकर कंपनी की एक स्टडी बताती है कि फ्रंटियर मॉडल (frontier models) उन अकाउंटिंग टास्क पर शानदार परफॉर्मेंस दे रहे हैं, जिन पर लाइसेंसधारी सीपीए (CPA) का औसत 37% बना। वही दस्तावेज़ यह भी बताता है कि पूरे बेंचमार्क (benchmark) के करीब 60% टास्क कोई भी मॉडल पूरी तरह हल नहीं कर पाया — और यही गैप मर्कर (Mercor) बेचती है।
Vincent Jiang · 3 min read
12 सीपीए ने दिया टेस्ट, औसत रहा 37%
औसत अनुभव साढ़े पांच साल वाले 12 लाइसेंसधारी सीपीए ने मर्कर के एपेक्स-अकाउंटिंग (APEX-Accounting) बेंचमार्क से सरल बनाए गए मंथ-एंड क्लोज़ के चार परिदृश्य हल किए 12। मूल्यांकन के मानदंड वे करीब 37% ही पूरे कर पाए 12। वही टास्क फ्रंटियर मॉडल अब एकदम आसानी से निपटा रहे हैं — 18 महीने पहले तक बेहतरीन मॉडल इन पर फेल हो जाते थे 12।
पेपर इस हार की कीमत भी बताता है। मॉडलों ने पूरे टास्क-सेट 10 मिनट से कम समय में निपटाए; हर मूल्यांकन मानदंड पर इनकी लागत इंसानों से दस गुना से भी ज़्यादा कम रही 211। स्टडी 1 अक्टूबर 2026 को जारी हुई और उसी हफ्ते संस्थापक-सीईओ ब्रेंडन फूडी सीबीएस में थे — रविवार को '60 मिनट्स' (60 Minutes) शो में आने से ठीक पहले — और उन्होंने तर्क रखा कि एआई "इंसानी काम को सिर्फ़ खत्म करने की बजाय बदल भी सकता है" 3।
इन्हीं इंसानों के स्कोर पर टिका है 20 अरब डॉलर का दांव
2023 में स्थापित मर्कर एआई लैब्स को विशेषज्ञ कॉन्ट्रैक्टर (expert contractors) की सप्लाई करती है — ओपनएआई और एंथ्रोपिक जैसी लैब्स इनमें शामिल हैं। कंपनी के अपने हिसाब से अक्टूबर 2025 तक ऐसे करीब 30,000 लोग जुड़े थे 5। फंडिंग ट्रैकर्स के आंकड़ों के मुताबिक कंपनी की अब तक की कुल फंडिंग करीब 485.6 मिलियन डॉलर है 7।
कंपनी का कहना है कि जून में उसकी वार्षिक दर पर कमाई (annualized revenue) 2 अरब डॉलर पार कर गई — 1 अरब डॉलर का आंकड़ा पार हुए अब सिर्फ़ चार महीने बाद 4। जुलाई में वह 20 अरब डॉलर के वैल्यूएशन पर 50 करोड़ डॉलर जुटाने की बातचीत में थी; यह पिछली शरद ऋतु में हुई 10 अरब डॉलर की सीरीज़-सी राउंड का दोगुना है। फोर्ब्स का अनुमान था कि डील पक्की हुई तो तीनों संस्थापकों में से हर एक की कीमत 4.3 अरब डॉलर होगी 46।
जो पेज अकाउंटेंटों को फेल करता है, वही निगरानी भी बेचता है
पेपर का जिस निष्कर्ष पर सबसे कम शोर हुआ, वही उसका बिज़नेस मॉडल है। 11 साल के औसत अनुभव वाले 40 से ज़्यादा प्रोफेशनल्स ने मिलकर पूरे 160 टास्क का यह बेंचमार्क बनाया था। इसके करीब 60% टास्क कोई भी मॉडल पूरी तरह हल नहीं कर सका 1।
मर्कर का रिसर्च हब इसी गैप को अपनी इन्वेंटरी में बदल देता है। एपेक्स का डेटा ट्रेनिंग लाइसेंस पर दिया जाता है — 30 से ज़्यादा डोमेन के 50,000 से ज़्यादा टास्क, और सैंपल उसी दिन। इसके साथ 30,000 से ज़्यादा विशेषज्ञ और “जिस स्केल पर फ्रंटियर लैब्स भरोसा करती हैं” — उस स्तर का ह्यूमन इवैल्यूएशन 89। ये टास्क गोल्डमैन सैक्स, मैकिन्ज़े और स्कैडेन के प्रोफेशनल्स ने लिखे हैं — यानी वही लेवल, जिसे स्कोर किया जा रहा है — जबकि अकाउंटिंग सेट खर्च प्रबंधन (स्पेंड-मैनेजमेंट) फर्म रैंप के साथ मिलकर बनाया गया है 8।
खुले कबूल, और बिकने वाली ‘छत’
मर्कर ने खुद की खुली आलोचना की है: टास्क “वही परखते थे, जिसमें एआई सबसे बेहतर है,” टेस्ट के दायरे से सहकर्मी और लंबे समय में जमा हुआ नौकरी का संदर्भ हटा दिया गया था, और टास्क बनाने वालों को उम्मीद थी कि जूनियर 30% और मिड-लेवल के लोग 55% के आसपास रहेंगे 2। टीम का कहना है कि उसने स्टडी प्रकाशित ही न करने का विकल्प भी सोचा था 2। फिर भी पूरे बेंचमार्क की यह छत लैब्स को बताती रहती है कि आगे क्या खरीदना है।
पूरे 160-टास्क अकाउंटिंग बेंचमार्क में बेहतरीन मॉडल 61.8% क्लियर करता है
Data
| Value | |
|---|---|
| क्लॉड ओपस 5.5 मैक्स | 61.8% |
| फेबल 5.1 मैक्स | 61% |
| जीपीटी-6 एस्ट्रा मैक्स | 57.9% |
| फेबल 5 मैक्स | 56.4% |
| क्लॉड ओपस 5 मैक्स | 54.5% |
कंपनी का बचाव उसका अपना ही कैटलॉग है
मर्कर का निष्कर्ष है कि अकाउंटेंट की जगह नहीं ली जा सकती और कंपनी नौकरियों में कटौती नहीं, उत्पादकता में इज़ाफा देखती है 1। इसकी कीमत बेंच पर पड़ती है।
पूर्व कर्मचारी बताते हैं कि माहौल दुश्मनाना था और लोग पहले ही हफ़्ते, बिना बोनस या इक्विटी के, इस्तीफ़ा देकर चले जाते थे। एक विश्लेषण में पाँच में से एक डेटा लेबलर बेघर पाया गया, जबकि कई सरकारी सहायता पर निर्वाह कर रहे हैं 10। कंपनी परफॉर्मेंस से जुड़े बोनस को इंडस्ट्री का स्टैंडर्ड बताती है 10। उसके होमपेज पर औसत कॉन्ट्रैक्ट रेट घंटे के 109 डॉलर का बताया गया है 9।
दो संकेत, एक की तारीख़ रविवार की है
देखना यह होगा कि वह 20 अरब डॉलर का फंडिंग राउंड, जिसे फोर्ब्स जुलाई में पूरा होते देखने की उम्मीद कर रहा था, आखिरकार पूरा हुआ या नहीं — और यह भी कि एआई लैब उस कमी के लिए विशेषज्ञों की दर पर पैसा देते रहेंगे या नहीं, जिसके बने रहने की बात खुद यह रिसर्च पेपर कहता है 46। अप्रैल में सामने आए LiteLLM सप्लाई-चेन हैक — जिसमें कथित तौर पर चार टेराबाइट तक का डेटा उजागर हुआ — और कॉन्ट्रैक्ट कर्मचारियों के मुकदमे भी फंड जुटाने की किसी भी कोशिश के साथ सवार रहेंगे 456।
दोनों ही सूरत में इस रीप्राइसिंग (repricing) का सबसे पहला असर जूनियर अकाउंटिंग के काम और फाइनेंस आउटसोर्सिंग पर पड़ेगा। इस रविवार फूडी बड़े मंच पर कदम रखेंगे 3। मशीनों ने परीक्षा टॉप कर दी, और परीक्षा का मालिक आज भी नंबर लगाने वाले बेच रहा है।
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
