क्लाउडफ्लेयर ने अपने नेटवर्क के सिर्फ 1% से ओपनएआई के क्रॉलर को करोड़ों पेज तक पहुंचाया, दाम नहीं बताया

क्लाउडफ्लेयर▼−7.06% — क्लाउडफ्लेयर, down 7.06 percent today ने ओपनएआई के साथ जुलाई में शुरू किए डिस्कवरी पायलट (discovery pilot)↗ के पहले नतीजे जारी किए हैं। इनसे क्षमता का सवाल तो सुलझ गया है, पर पैसे का सवाल जहां का तहां खड़ा है ¹। कंपनी के नेटवर्क के करीब 1% से निकाले गए सिग्नलों ने ओपनएआईPVT$1.18T — ओपनएआई, private, latest valuation $1.18T के सर्च क्रॉलर (crawler) को ऐसे करोड़ों वेब पेज खोजने और इंडेक्स करने में मदद की है, जो पहले कभी उसके इंडेक्स में नहीं थे ¹। पोस्ट में कहीं भी दाम का जिक्र नहीं है; जहां दाम आना चाहिए था, वहां लिखा है कि दोनों कंपनियां अब भी यह समझ रही हैं कि डिस्कवरी "रियल बिज़नेस आउटकम्स" यानी असली कारोबारी नतीजों में कैसे बदलेगी ¹।

सिग्नल लिंक से नहीं, ट्रैफिक से मिलता है

लिंक फॉलो करने वाला कोई भी क्रॉलर उस पेज तक नहीं पहुंचता जिसकी ओर कोई लिंक नहीं जाता। इसीलिए आपकी उसी वॉशिंग मशीन का मैनुअल एआई सर्च की नजर में आने के बजाय अदृश्य बना रह सकता है ¹।

क्लाउडफ्लेयर का एज नेटवर्क पूरे वेब के एक-पांचवें हिस्से से ज़्यादा हिस्से में ट्रैफिक के ठीक आगे खड़ा है। इसलिए उसे दिखता है कि असली यूज़र वाकई कौन-कौन से पते मांगते हैं और किस पेज के कैश के बर्ताव से पता चलता है कि वह बदला है ²। यही मेटाडेटा ओपनएआई की क्रॉल शेड्यूलिंग में डाला जाए तो क्रॉलर सिर्फ उन पेजों की तरफ भेजा जाता है जो फेच करने लायक हों, बाकी छोड़ दिए जाते हैं ²। इस सिलसिले के अंत में चैटजीपीटी का जवाब सीधे उसी मैनुअल तक पहुंचता है, और मैनुअल होस्ट करने वाली साइट के बेकार फेच भी घट जाते हैं ¹।

पहुंच का दाम तय है, डिस्कवरी का नहीं

इस बाज़ार का दूसरा पहलू क्लाउडफ्लेयर पहले से संभालता आ रहा है। हर प्लान पर उपलब्ध AI Crawl Control↗ साइट मालिकों को फाटक देता है: कौन सी एआई सेवा आ रही है, देखें—और हर क्रॉलर को अलग-अलग आने दें या रोकें ³। अभी बीटा में चल रहा Pay Per Crawl उस फाटक पर कैश काउंटर भी लगा देता है: मालिक तय करते हैं कि एक क्रॉल का दाम क्या होगा, और एआई कंपनियां वह रकम स्ट्राइप के जरिए चुकाती हैं ³। पायलट इस फाटक के बाहर ही रहता है: सिर्फ पेजों का मेटाडेटा, उनका कंटेंट कभी नहीं; और सिग्नल मिलने का मतलब पहुंच का हक नहीं ¹।

यानी क्लाउडफ्लेयर पर बैठी कोई भी साइट आज ही एआई कंपनी से हर पेज फेच के बदले शुल्क ले सकती है, जबकि पायलट उसी क्रॉलर को रास्ता दिखाने वाले सिग्नल ओपनएआई को बिना किसी दाम के सौंप रहा है ¹।

इस फर्क को प्रकाशक अच्छी तरह महसूस कर रहे हैं। चार्टबीट के मार्च 2026 के आंकड़ों↗ में चैटजीपीटी से आने वाले रेफरल प्रकाशकों के पेज-व्यू ट्रैफिक का अब भी 1% से कम हिस्सा थे, और पायलट का अगला चरण यही नाप रहा है कि जिन साइटें इंडेक्स में जुड़ रही हैं, "मिल जाने" से उनका असल में भला कैसे होता है ²।

पहला पड़ाव: 5 नवंबर

ओपनएआई निजी कंपनी है, इसलिए इस कहानी की लिस्टेड कंपनी क्लाउडफ्लेयर (NYSE: NET) है। कंपनी ने 13 अक्टूबर को अपनी तीसरी तिमाही के नतीजों की तारीख ऐलान कर दी↗: नतीजे 5 नवंबर को बाज़ार बंद होने के बाद जारी होंगे ⁴⁵। शेयर की कीमत में इसमें से कुछ भी शामिल नहीं है। 6 अक्टूबर के $370 के रिकॉर्ड के बाद NET लगातार चार सेशन गिरा है, फिर भी इस साल अब तक 50% से ज्यादा ऊपर है ⁶।

ये शेयर अपनी सेल्स के करीब 49.5 गुना पर कारोबार कर रहे हैं। 14 अक्टूबर को हमने जो दलील पेश की थी उसके केंद्र में भी यही आंकड़ा है: क्लाउडफ्लेयर उस इंफ्रास्ट्रक्चर की हर परत खरीदता जा रहा है जिस पर एआई एजेंट बनाए जाते हैं, और इस भाव पर खरीदने वाले सबसे नई परतों से कोई कमाई शुरू होने से पहले ही उस सबके पैसे चुका रहे हैं।

याहू फाइनेंस पर प्रकाशित Simply Wall St के एक विश्लेषण↗ में क्रॉलर-कंट्रोल लेयर को पहले ही प्रकाशकों और एआई कंपनियों के बीच की खाई माना जा चुका है, और "प्रैक्टिकल, मॉनेटाइज़ेबल सर्विसेज़" (व्यावहारिक, कमाई की जा सकने वाली सेवाएं) को ही अमल की असली कसौटी बताया गया है ⁷। इन कंट्रोल के नीचे बैठी परत के लिए पायलट ही पहला चलता-फिरता सबूत है: सिग्नल काम करते हैं, यह साबित हो चुका है। लेकिन लोग इनके लिए क्या चुकाएंगे — इस पर पोस्ट में कुछ नहीं है। क्लाउडफ्लेयर डिस्कवरी पर कभी दाम लगाएगा भी या नहीं, यही वह सवाल है जिसका जवाब 5 नवंबर की अर्निंग्स कॉल शुरू कर सकती है।