अब विज्ञापन दिखाने वाले हर पेज पर एआई एजेंट ब्लॉक कर रहा है क्लाउडफ्लेयर

15 सितंबर को डिफॉल्ट पलट गया

15 सितंबर से क्लाउडफ्लेयर की ओर से विज्ञापनों से चलने वाले डोमेन की डिफॉल्ट सेटिंग यह है: सर्च क्रॉलर आ सकते हैं, एआई ट्रेनिंग मना है और विज्ञापन दिखाने वाले किसी भी पेज पर यूज़र के निर्देश पर चलने वाले एजेंट ब्लॉक हैं। चैट-फेच बॉट (chat-fetch bots) और ब्राउज़र चलाने वाले एजेंट भी इसी दायरे में आते हैं; एजेंटों के लिए अभी कोई ऑप्ट-आउट डायरेक्टिव नहीं है, सिर्फ़ ब्लॉक है ¹²। क्लाउडफ्लेयर ने यह डेडलाइन जुलाई में तय की थी↗, ताकि मिक्सड-यूज़ (mixed-use) क्रॉलरों को सर्च और ट्रेनिंग अलग करने के लिए मजबूर किया जा सके ²³।

इसी हफ़्ते अमेज़न ने क्रेडेंशियल जोखिम की वजह से मेटा के शॉपिंग एजेंट म्यूज़ (Muse) को अपने स्टोर से बाना दिया, और शोपिफाई ने अपने मर्चेंट्स के शॉप पे (Shop Pay) चेकआउट में म्यूज़ को जोड़ दिया↗: एजेंट युद्ध का एक मोर्चा खुल गया, कंटेंट का मोर्चा बंद हो गया ⁴।

एआई ट्रेनिंग अब क्रॉलर ट्रैफ़िक का 52%

अकेली एआई ट्रेनिंग क्लाउडफ्लेयर के नेटवर्क पर क्रॉलर ट्रैफ़िक का 52% है, जो एक साल पहले 22% था। सीईओ मैथ्यू प्रिंस का कहना है कि इंटरनेट पर अब ज़्यादातर ट्रैफ़िक नॉन-ह्यूमन, यानी इंसानों का नहीं, है ¹³। वेबसाइट मालिक लकीरें खींच रहे हैं: 17% ट्रेनिंग पर पाबंदी लगाते हैं, तो 1% से कम सर्च ब्लॉक करते हैं↗ ⁵।

इसके अलावा, सर्च और ट्रेनिंग दोनों के लिए एक साथ बने मिक्सड-यूज़ क्रॉलर वेरिफाइड क्रॉलर ट्रैफ़िक का अतिरिक्त 36.6% हिस्सा ले जाते हैं ⁶। पैसा बिना दिखे बदल रहा है: 13.2 करोड़ अमेरिकी एआई की मदद से खरीदारी कर चुके हैं, लेकिन सिर्फ़ 23% मर्चेंट ही उस ट्रैफ़िक या उससे हुई बिक्री को देख पाते हैं — वही एजेंट ट्रैफ़िक, जिसे विज्ञापन वाले पेज अब डिफॉल्ट रूप से ब्लॉक करते हैं ¹।

तीन मीटर, एक पेज, कोई कीमत नहीं

गूगल का सिर्फ़ आमंत्रण पर आधारित पायलट↗ तब भुगतान करता है जब कोई कंटेंट जेमिनी, एआई ओवरव्यू या एआई मोड के जवाब में “सार्थक योगदान” देता है — और क्या गिनता है, यह फ़ैसला गूगल अकेले करता है ⁵⁷। इसमें शामिल साइटों को सर्च कंसोल (Search Console) में हर महीने एक रकम दिखती है, जिसके पीछे कोई हिसाब-किताब नहीं होता ⁸। इस प्रोग्राम की ब्रीफिंग लेने वाले एक एक्ज़ीक्यूटिव ने इसे “काफ़ी ब्लैक बॉक्स” कहा; दूसरे एक्ज़ीक्यूटिव ने बताया कि ऑफ़र की रकमें इतनी कम थीं कि शामिल होना ठीक नहीं लगता था ⁵।

क्लाउडफ्लेयर का पे पर क्रॉल (Pay Per Crawl) पूरी तरह मैकेनिकल है: साइटें हर फेच की क़ीमत 0.001 डॉलर से शुरुआत करके ख़ुद तय करती हैं, और भुगतान करने वाला क्रॉलर पेज ले लेता है — पूरा का पूरा, HTTP 200 समेत ⁵। माइक्रोसॉफ़्ट कोपायलट को “डिलीवर्ड वैल्यू” (delivered value) के आधार पर कंटेंट लाइसेंस करता है, पर इस वैल्यू की कोई सार्वजनिक परिभाषा कंपनी ने अब तक नहीं दी है ⁵। पैसा देने वाले एआई लैब और एजेंट बनाने वाली कंपनियाँ हैं — भुगतान दो तरह से होता है: या तो मीटर पर नकद, या फिर एजेंट ब्लॉक होने पर खोई हुई इन्वेंटरी। जो मीटर जीतेगा, वही एआई के लिए ओपन वेब की क़ीमत तय करेगा।

टोल वसूलने वाले की बही-खाता

क्लाउडफ्लेयर नाकेबंदी भी बेचता है और मीटर भी। रेवेन्यू लगातार दस तिमाहियों से बढ़ रहा है और 2026 की दूसरी तिमाही में 696.1 मिलियन डॉलर↗ तक पहुँचा है — साल दर साल 35.9% तेज़ी — मगर उस तिमाही में भी 170 मिलियन डॉलर का घाटा रहा ⁹⁶। बाज़ार ने इसके बावजूद भरी-पूरी क़ीमत चुका दी है: 90 दिन में 43.9% की उछाल के बाद मार्केट कैप 115.2 अरब डॉलर हो गया है ⁶।

गूगल का निकास रास्ता, और नज़र रखने वाली बातें

गूगल गूगल-एक्सटेंडेड (Google-Extended), robots.txt का वह टोकन जो, कंपनी के दावे के मुताबिक़, सर्च रैंकिंग को कभी नहीं छूता↗ की ओर इशारा करता है और इस पायलट को सीखने का दौर बताता है ³⁵¹⁰। यह टोकन सिर्फ़ जेमिनी की ट्रेनिंग से ऑप्ट-आउट कराता है; एआई ओवरव्यू और एआई मोड सर्च कंसोल की एक अलग सेटिंग से तय होते हैं ¹⁰।

क्लाउडफ्लेयर का तर्क अब भी टिका हुआ है: पेज पर विज्ञापन का होना बताता है कि वह इंसान के लिए बना है ¹। सबसे ज़्यादा जोखिम छोटे विज्ञापन-आधारित पब्लिशर का है, क्योंकि एजेंट पढ़ता तो है, पर कुछ ख़रीदता नहीं और विज्ञापन देखता ही नहीं।

आगे के पड़ावों की तारीख़ें भी तय हैं: गूगल के यूआरएल-स्तर के गूगल-एक्सटेंडेड टूल कुछ हफ़्तों में आ रहे हैं, एआई समरिज़ में कितना कंटेंट दिखेगा इस पर क्लाउडफ्लेयर का एक ही कंट्रोल अगले साल की शुरुआत तक आएगा, और माइक्रोसॉफ़्ट के बिंग में नो-ट्रेनिंग सपोर्ट का लक्ष्य 2027 की शुरुआत रखा गया है ⁵¹⁰। दुकानों ने एजेंट के लिए अपने चेकआउट खोल दिए; कंटेंट की परत ने अभी टोल नाका लगा दिया है।