Q3 में क्लाउडफ्लेयर ने 13.47% एआई बॉट रिक्वेस्ट खारिज कीं, पिछले साल यह दर 5.98% थी; अब वेंडर्स एजेंटों को अंदर घुसने का रास्ता बेच रहे हैं
15 सितंबर को क्लाउडफ्लेयर के डिफॉल्ट बदलाव ने एजेंटों की पहुंच को पैसे से मिलने वाला विशेषाधिकार बना दिया, और तीसरी तिमाही के इनकार के आंकड़ों में यह अब साफ दिख रहा है। इस पूरे खेल का चुपचाप फायदा शायद उन बायपास वेंडर्स को मिलेगा जो एजेंटों को दीवार के उस पार उतरने का रास्ता बेच रहे हैं।
Vincent Jiang · 3 min read
इस तिमाही वेब के इर्द-गिर्द की दीवार और ऊंची हो गई है। दीवार के दोनों ओर दो कंपनियां खड़ी हैं — अलग-अलग मुद्रा में अपना-अपना किराया वसूलती हुईं।
क्लाउडफ्लेयर+5.81% — क्लाउडफ्लेयर, up 5.81 percent today ने 15 सितंबर को डिफॉल्ट बदल दिया: अब उसके नेटवर्क पर आने वाले नए डोमेन एआई एजेंटों को सीधे ब्लॉक करते हैं, और पुरानी साइटों को भी इस तरह शिफ्ट किया गया है कि विज्ञापन लगे हर पेज पर एजेंट ब्लॉक हों 1। ट्रैफिक के आंकड़ों में इसका असर साफ दिख रहा है: तीसरी तिमाही में क्लाउडफ्लेयर के नेटवर्क की वेबसाइटों ने एआई बॉट रिक्वेस्ट का 13.47% हिस्सा पहुंच से इनकार (एक्सेस डिनाइड) वाले जवाब के साथ ठुकरा दिया। पिछले साल यह हिस्सा 5.98% था। ये राडार से निकाले गए प्रारंभिक आंकड़े हैं 2। लेकिन मांग इस दीवार के हिसाब से घटने को तैयार नहीं है। दूसरी और तीसरी तिमाही के बीच एआई क्रॉल गतिविधि में सर्च और यूजर-ट्रिगर्ड (user-triggered) रिक्वेस्ट — यानी एजेंटों के जवाबों के पीछे चलने वाला मकसद-प्रेरित क्रॉल — की हिस्सेदारी 6.51% से उछलकर 11.92% हो गई 2। सितंबर तक क्लाउडफ्लेयर के अपने आंकड़ों के मुताबिक कुल वेब रिक्वेस्ट में बॉट और एजेंटों की हिस्सेदारी आधे से पार जा चुकी थी 3।
डिफॉल्ट बदलते ही एक साल में एआई बॉट रिक्वेस्ट का इनकार दोगुने से भी ऊपर
- एआई बॉट को पहुंच से इनकार
- एआई क्रॉल में सर्च/यूजर-ट्रिगर्ड हिस्सेदारी
- Estimate
Data
| एआई बॉट को पहुंच से इनकार | एआई क्रॉल में सर्च/यूजर-ट्रिगर्ड हिस्सेदारी | |
|---|---|---|
| Q3 2025 | 5.98% | — |
| Q2 2026 | — | 6.51% |
| Q3 2026 (estimate) | 13.47% | 11.92% |
चेकआउट पर अटके एजेंट
इन ब्लॉक्स की कीमत उपभोक्ता पहले ही चुकाने लगे हैं। अमेज़न+2.50% — अमेज़न, up 2.50 percent today अब अपनी रिटेल साइट पर मेटा−0.37% — मेटा, down 0.37 percent today के म्यूज़ (Muse) को ब्राउज़ या खरीदारी से रोक देता है। म्यूज़ का पार्टनर वॉलमार्ट एजेंटों को इंसानी सत्यापन (ह्यूमन वेरिफिकेशन) वाले बटनों पर अटका देता है — कंपनी कहती है कि यह अनजाने में हो रहा है। येल्प सारे नॉन-ह्यूमन ट्रैफिक को इनकार कर देता है; एजेंट तभी अंदर आ पाता है जब वह उसके डेटा-लाइसेंसिंग प्रोग्राम में पैसा देता है 1। मेटा का जवाब एक ओपन एजेंट-टू-बिज़नेस स्टैंडर्ड है, जिसे उसने वॉलमार्ट, स्ट्राइप, सिएरा~$10B — सिएरा, private, latest valuation ~$10B, जेनेसिस, रॉकेट, NiCE और डिकैगन~$1.5B — डिकैगन, private, latest valuation ~$1.5B के साथ मिलकर तैयार किया है — ये आठ नामित पार्टनर अच्छे बॉट को बुरे बॉट से अलग पहचानने पर काम कर रहे हैं 1।
ज़मींदार दोनों तरफ सौदा करता है
वेब ट्रैफिक का करीब पांचवां हिस्सा क्लाउडफ्लेयर के ज़रिए गुज़रता है 3, और कंपनी इस दीवार से दोनों तरफ कमाई कर रही है — एक तरफ मार्केटप्लेस है, जहां एआई बॉट जिस डेटा तक पहुंचते हैं उसके लिए पैसे देते हैं; दूसरी तरफ खासतौर पर एआई एजेंटों के लिए बनाए गए एक ब्राउज़र का टेस्ट 1। जब चाबी बेचने वाली कंपनी भी वही हो, तो कमी पैदा करना ही सेल्स पिच बन जाता है: जितने ज़्यादा एजेंट कंपनी लौटाएगी, उतनी ही ज़्यादा कीमती उसके मार्केटप्लेस से होकर जाने वाली पेड एंट्री बनेगी। एक सुरक्षा फीचर टोल नाके में बदलता जा रहा है — और उस नाके की कतार पर भी वही ऑपरेटर कमान संभालता है।
वेंडर पक्ष का शोर कम है, मगर निशाना तेज़ है। अनाकिन (YC S21) ने 6 अक्टूबर को बिल्डरों के लिए अपनी गाइडलाइन जारी की — उसी दिन टेकक्रंच ने ब्लॉक की इस लहर पर रिपोर्ट प्रकाशित की 4। कंपनी का वायर (Wire) कैटलॉग 940 से ज़्यादा प्लेटफॉर्म और 4,500 से ज़्यादा एक्शन को घेरता है, और क्लाउडफ्लेयर, अकामाई (Akamai), पेरिमीटरएक्स (PerimeterX) व डेटाडोम (DataDome) के बायपास की सुविधा इसमें पहले से शामिल है — कंपनी के अपने मार्केटिंग मटेरियल के मुताबिक; यहां इसकी जांच नहीं की गई 5। कीमत कुछ ऐसी है: हर स्क्रैप पर 1 क्रेडिट, हर वायर एक्शन पर फ्लैट 2 क्रेडिट, 12 से 900 डॉलर प्रति माह, और फेल होने वाली जॉब का बिल नहीं बनता 6। यह आख़िरी शर्त पूरे बिज़नेस मॉडल की एक छोटी-सी तस्वीर है: डिफॉल्ट सख़्त होते जाएंगे तो DIY एजेंटों के लिए फेल होना ही डिफॉल्ट अनुभव बन जाएगा, और जिन फेल जॉब्स का बिल नहीं बनता, वे पूरा वॉल्यूम उसी की ओर धकेलेंगे जो दीवार पार कराने की गारंटी देता है।
पैसे का दोराहा
अगर आठ पार्टियों वाला यह स्टैंडर्ड पेड एक्सेस को औपचारिक रूप दे देता है, तो टोल ऑपरेटर दोहरी जीत हासिल करेंगे और बायपास वेंडर दबाव में आकर लाइसेंस्ड पार्टनरशिप की ओर खिसक जाएंगे। ड्राफ्ट का यह दायरा — पेमेंट के लिए स्ट्राइप, रिटेल के लिए वॉलमार्ट, एंटरप्राइज़ एजेंटों के लिए सिएरा — संकेत है कि इरादे गंभीर हैं 1। और अगर स्टैंडर्ड वहीं अटक गया, तो खाई और गहरी हो जाएगी। हर हाल में, एजेंटों को जिस फ्री वेब का वादा किया गया था, उस पर नई कीमत लग रही है — एक-एक 403 के साथ।
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
