अपने ही टेस्ट में दोगुने तक थ्रूपुट देखकर मोडल 30 करोड़ डॉलर का एआई एजेंट काम एनवीडिया के वेरा CPU पर शिफ्ट कर रहा है
मोडल अपना वह प्रोडक्ट, जिससे सालाना 30 करोड़ डॉलर आते हैं, अब एनवीडिया के आर्म-आधारित वेरा CPU पर चलाएगा। कंपनी के अपने टेस्टों में, कंटेनरों से भरे सर्वर पर, इंटेल की मशीन की तुलना में इस CPU का थ्रूपुट (throughput) दोगुने तक दिखा। कंपनी जो वजह बताती है—CPU का काम पूरा होने तक GPU खाली बैठे रहते हैं—वह CPU चुनने के फैसले को महंगे चिप्स की कमाई का फैसला बना देती है।
Richard Tang · 3 min read
मोडल$87M — मोडल, private, latest valuation $87M अपने एजेंट सैंडबॉक्स (agent sandbox) एनवीडिया+1.92% — एनवीडिया, up 1.92 percent today के आर्म+0.88% — आर्म, up 0.88 percent today-आधारित वेरा CPU पर ले जा रहा है। इंटेल−0.21% — इंटेल, down 0.21 percent today और एएमडी+2.23% — एएमडी, up 2.23 percent today के सिलिकॉन पर आज तक चलती आई कंपनी के लिए यह उनसे हटने का पहला कदम है। कंपनी ने यह फैसला तब लिया जब उसके अपने बेंचमार्क में कंटेनरों से भरे एक सर्वर पर टास्क थ्रूपुट दोगुने तक दिखा 1।
कंपनी की करीब एक-तिहाई कमाई इसी लेयर पर टिकी है। सैंडबॉक्स यानी वे अलग-थलग कंप्यूटर जहां एआई एजेंट कोड लिखते और चलाते हैं। मोडल की बताई 1 अरब डॉलर की रन रेट में से इनसे सालाना आधार पर 30 करोड़ डॉलर आते हैं, और अब तक करीब 3 अरब सैंडबॉक्स बन चुके हैं 12। मोडल जो वजह बताता है वह यूटिलाइज़ेशन का दावा है: रीइन्फोर्समेंट लर्निंग (reinforcement learning) में CPU का काम पूरा होने तक महंगे GPU अक्सर खाली बैठे रहते हैं 1।
CPU क्यों तय करता है कि GPU कितना कमाएंगे
मोडल के मुताबिक ज्यादातर ट्रेनिंग सेटअप आज भी सिंक्रोनस (synchronous) हैं। हर रोलआउट—यानी किसी टास्क पर मॉडल का एक पूरा प्रयास, जिसका नतीजा ट्रेनिंग सिग्नल बन जाता है—का कुछ हिस्सा CPU पर बीतता है। और पूरा रोलआउट सेट खत्म हुए तभी बेकार बैठे GPU अगले स्टेप पर बढ़ते हैं। इसलिए CPU पर बचा समय ही GPU पर बचा समय है 3। यानी सस्ता प्रोसेसर तय करता है कि महंगे प्रोसेसर का कितना हिस्सा इस्तेमाल होगा। तेज़ CPU असल में GPU-घंटे खरीद देता है।
एजेंट के काम में भारी उतार-चढ़ाव, वेरा की बैंडविड्थ उसे सोख लेती है
सैंडबॉक्स के किराएदार शोर मचाते हैं: एक एजेंट लैंग्वेज मॉडल के जवाब का इंतज़ार करते हुए खाली बैठा रहता है, फिर सॉफ्टवेयर इंस्टॉल के दौरान अपनी आम कंप्यूटिंग पावर का दस गुना खींच लेता है। एक ही होस्ट पर सैकड़ों ऐसे एजेंट साझा रहते हैं, इसलिए एक ग्राहक का झटका दूसरे के काम को धीमा कर सकता है 1।
मोडल के 50 कोडिंग टास्क वाले बेंचमार्क में वेरा ने इंटेल, एएमडी और अमेज़न−0.32% — अमेज़न, down 0.32 percent today के चिप्स को एक-एक टास्क पर हराया, लेकिन फर्क बस थोड़ा सा था। असली फर्क लोड के तहत खुला: जैसे-जैसे कंटेनर जुड़ते गए, वेरा अपनी रफ्तार बनाए रखता रहा, जबकि बाकी अपनी हद पर पहुंचकर अटक गए। मोडल इसका श्रेय वेरा की मेमोरी बैंडविड्थ को देता है 13। यह नतीजा मोडल का अपना है और इसकी अभी तक स्वतंत्र जांच नहीं हुई है 1।
प्रीमियम अब आइसोलेशन से हटकर ट्रेनिंग लूप की ओर
मोडल ने 14 अक्टूबर को 15.75 अरब डॉलर की वैल्यूएशन पर 75 करोड़ डॉलर जुटाए थे और कहा था कि यह पैसा ऊपर की लेयरों में लगेगा — रीइन्फोर्समेंट लर्निंग और पोस्ट-ट्रेनिंग टूल्स इनमें शामिल हैं 2। प्रतिद्वंद्वी क्लाउड टुगेदर एआई~$3.3B — टुगेदर एआई, private, latest valuation ~$3.3B ने 19 अक्टूबर को यही लेयर खोल दी: आरक्षित B200 GPU, ग्राहक-परिभाषित ट्रेनिंग लूप और शुरुआती दर 9 डॉलर प्रति GPU-घंटा 45।
इसके नीचे की लेयर कमोडिटी बनती जा रही है: पर्प्लेक्सिटी ने अपना प्रोडक्शन सैंडबॉक्स SPACE ओपन-सोर्स कर दिया है, और कोरवीव−2.35% — कोरवीव, down 2.35 percent today, अकामाई+0.69% — अकामाई, up 0.69 percent today और क्रूसो$26.61B — क्रूसो, private, latest valuation $26.61B यह सेवा पहले से दे रहे हैं 68। फिर भी उस आइसोलेशन के लिए एजेंट कंपनियां मोडल को E2B या Daytona की तुलना में प्रति वर्चुअल CPU-घंटा करीब 41% ज़्यादा चुकाती हैं 6।
यह दर मोडल की अपनी सामान्य कंप्यूट दर के मुकाबले करीब तीन गुना है 6। मोडल अपनी कैपेसिटी बीस से ज़्यादा क्लाउडों से किराए पर लेता है और उसका अपना कोई डेटा सेंटर नहीं है। इसलिए पैकिंग डेंसिटी (packing density) दोगुनी करने वाली चिप किराए के हर सर्वर की कमाई बढ़ा देती है 2।
सॉकेट (socket) का जोखिम इंटेल और एएमडी के हिस्से
एनवीडिया ने मार्च में वेरा को 88 कोर वाले, एजेंटों के लिए बने CPU के रूप में लॉन्च किया था और एंथ्रोपिक$350B — एंथ्रोपिक, private, latest valuation $350B और ओपनएआई$1.18T — ओपनएआई, private, latest valuation $1.18T को अपने पहले यूज़र्स में गिना था 1। इसे डिप्लॉय करने की योजना बनाने वाले क्लाउडों में अलीबाबा क्लाउड, बाइटडांस, कोरवीव, नेबियस−2.06% — नेबियस, down 2.06 percent today और ओरेकल−2.15% — ओरेकल, down 2.15 percent today शामिल हैं 3। यह फायदा एनवीडिया को दो बार मिलता है — एक बार CPU में, दूसरी बार उन GPU में जिन्हें वेरा व्यस्त रखता है — जबकि उस इकलौती लेयर में, जहां एजेंट कोड रन करते हैं, इंटेल और एएमडी वह सॉकेट गंवा बैठते हैं जिस पर उनकी अपने-आप पकड़ थी।
प्रोडक्शन में चलने तक 'दोगुना' बस एक दावा है
ग्राहकों का काम कब वेरा पर पहुंचेगा, इसकी मोडल ने कोई तारीख नहीं दी है। एनवीडिया के मुताबिक पार्टनरों के लिए वेरा की उपलब्धता 2026 की दूसरी छमाही में आएगी 13। मोडल ने अपने विकल्प भी खुले रखे हैं: इंटेल और एएमडी को रोटेशन में बनाए रखा है और हर जॉब उसी चिप को सौंपी जाती है जो उसे सबसे अच्छे से चलाती हो 7। इस पूरे आकलन का फैसला इसी से होगा कि कंटेनरों से भरे सर्वर पर मिलने वाला फायदा मोडल के अपने बेंचमार्क से बाहर भी टिकता है या नहीं, और यह भी कि जो आइसोलेशन लेयर अब मुफ्त मिल रही है, उसके बावजूद 41% का प्रीमियम टिक पाता है या नहीं 6।
Get Data Center by email, free
Who is building AI's data centers, and who is paying for them. In our daily email, every weekday.
