क्लाउडफ्लेयर का एआई ब्लॉक अब गूगल, एप्पल और माइक्रोसॉफ्ट के अलावा हर किसी को रोकता है
क्लाउडफ्लेयर ने ग्राहकों के एआई ट्रेनिंग ब्लॉक को robots.txt प्राथमिकताओं में बदलने के लिए जो हफ्ता तय किया था, वह बीत चुका है। गूगल, एप्पल और माइक्रोसॉफ्ट से अब बस इन प्राथमिकताओं का पालन करने की अपील की जाती है; बाकी सबके ट्रेनिंग क्रॉलर आज भी एज (edge) पर ही रोक दिए जाते हैं।
Vincent Jiang · 3 min read
Cloudflare के 16 सितंबर 2026 के ग्राहक ईमेल में कहा गया था कि पुरानी Block AI Bots सेटिंग्स अगले हफ्ते अपने आप माइग्रेट हो जाएंगी और माइग्रेशन पूरा होते ही यह स्विच डैशबोर्ड से गायब हो जाएगा 1। वह हफ्ता बीत चुका है। पब्लिशर्स ने जिसे ब्लॉक समझकर क्लिक किया था, वह अब तीन सबसे अहम कंपनियों के मामले में सिर्फ एक टेक्स्ट फाइल में लिखी शिष्ट-सी गुजारिश है।
ब्लॉक बदलकर क्या बना
मैपिंग तय है। पुराना टॉगल अब Search Allow, Training Disallow AI Training और विज्ञापन वाले पेजों पर एजेंट ब्लॉक पर आ जाता है 12। Disallow AI Training, robots.txt में ट्रेनिंग न करने का निर्देश लिख देता है, लेकिन Googlebot, Applebot और Bingbot फेचिंग जारी रखते हैं, क्योंकि तीनों कंपनियां सर्च इंडेक्सिंग और मॉडल ट्रेनिंग दोनों के लिए एक ही क्रॉलर चलाती हैं 12। जिस गैप को यह भरता है, वह असली है: क्लाउडफ्लेयर के नेटवर्क पर मौजूद 17% साइटें किसी न किसी रूप में ट्रेनिंग ब्लॉक करती हैं, 1% से कम साइटें सर्च बॉट ब्लॉक करती हैं, और वेब के पांचवें हिस्से (20%) से भी ज्यादा हिस्से के सामने यही नेटवर्क तैनात है 13।
क्लाउडफ्लेयर नेटवर्क पर ट्रेनिंग ब्लॉक करना आम है, सर्च ब्लॉक करना दुर्लभ
Data
| Value | |
|---|---|
| एआई ट्रेनिंग ब्लॉक करने वाली साइटें | 17% |
| सर्च क्रॉलर ब्लॉक करने वाली साइटें | <1% |
| क्लाउडफ्लेयर नेटवर्क के पीछे मौजूद वेब | >20% |
अब रोकथाम के दो स्तर हैं
सेटिंग अब भी किसी-न-किसी को रोकती है। ओपनएआई, एंथ्रोपिक, मेटा और अमेज़न के ट्रेनिंग क्रॉलर क्लाउडफ्लेयर के एज पर ही सीधे ब्लॉक कर दिए जाते हैं 4। गूगल, एप्पल और माइक्रोसॉफ्ट के क्रॉलर क्लाउडफ्लेयर के Accountable लेबल के तहत फेचिंग जारी रखते हैं। उसके बाद पेज के साथ क्या होता है, यह पूरी तरह ऑपरेटर पर निर्भर है कि वह फाइल का पालन करता है या नहीं 14। माइक्रोसॉफ्ट तो अभी नया नियम पढ़ भी नहीं सकता—उसकी robots.txt सपोर्ट 2027 की शुरुआत में आने का लक्ष्य है 12।
Accountable क्लाउडफ्लेयर का खुद का चुना हुआ नाम है, कोई बाहरी प्रमाणन नहीं 4। यह लेबल उन क्षमताओं के आधार पर दिया गया है जो हर ऑपरेटर के पास पहले से मौजूद हैं। बाकी बची चीजों के लिए समयबद्ध प्रतिबद्धताएं ली गई हैं 12। अगस्त में चौथी शर्त ऑपरेटर से यह मांगती थी कि वह "सार्वजनिक तौर पर दिखाए" कि ट्रेनिंग की इजाजत न देने से सर्च रिजल्ट को नुकसान नहीं होता। सितंबर का वर्जन सिर्फ आश्वासन मांगता है 51।
मैनुअल अब भी उल्टा वादा करता है
क्लाउडफ्लेयर का खुद का डॉक्यूमेंटेशन, जिसे आखिरी बार 1 जुलाई 2026 को अपडेट किया गया, आज भी लिखता है कि दोहरे इस्तेमाल वाले क्रॉलर "एआई ट्रेनिंग ब्लॉक करने वाली सभी कॉन्फ़िगरेशन से ब्लॉक होंगे, जिसमें पुराना Block AI bots ऑप्शन भी शामिल है" 6। उस पेज पर हर कंट्रोल के लिए तीन ऑप्शन गिनाए गए हैं—Allow, विज्ञापन वाले पेजों पर ब्लॉक और Block 6। लेकिन बाजार में आए प्रोडक्ट में चौथा ऑप्शन भी है—Disallow AI Training—जिसका जिक्र मैनुअल में कहीं नहीं है 1। यानी जो व्यवहार असल में लागू हुआ है, वह उस पेज के ठीक उल्टा है, जिसे क्लाउडफ्लेयर आज भी प्रकाशित कर रहा है।
कड़ी रोक (हार्ड ब्लॉक) तक लौटने का अब एक ही रास्ता है—Block ऑप्शन, जो अब किसी साइट को गूगल, एप्पल और माइक्रोसॉफ्ट की सर्च से पूरी तरह काट देता है 12। Bingbot को ब्लॉक करने पर साइट एक ही झटके में बिंग, याहू और कोपायलट तीनों से गायब हो जाती है 1।
रसीद अभी नहीं, कुछ हफ्ते बाद मिलेगी
यूआरएल स्तर की रिपोर्टिंग—यानी वह तंत्र जो बताएगा कि जिन पेजों की इजाजत नहीं थी, उन्हें फिर भी कहां-कहां इस्तेमाल किया गया—गूगल पर कुछ हफ्तों दूर है और एप्पल पर अगले साल आएगी 124। तब तक का हिसाब एक ही तरफ लिखा जा रहा है: पब्लिशरों के पास उनका सर्च ट्रैफिक बना हुआ है, दिग्गजों के पास डेटा का कॉर्पस, क्लाउडफ्लेयर के पास दोनों पक्ष ग्राहक बने हुए हैं, और जबरदस्ती अब भी सिर्फ उन क्रॉलरों पर लागू है जो दिग्गजों के एआई प्रतिद्वंद्वियों के हैं 4। इसके बाद समरीज़ (summaries) की बारी है, जबकि सेंट्रल कंट्रोल्स (central controls) 2027 की शुरुआत में आने का लक्ष्य है 13।
How this brief was made
01Gathered & sourced272 channels · 1,762 articles▾
Agents swept 272 channels and ingested 1,762 articles, then de-duplicated and ranked them for signal.
02Verified & cross-validated6 claims · 22 data feeds▾
Every one of 6 load-bearing claims was checked against primary sources, with 22 live data feeds reconciling the figures and charts.
- 1PPC Land, "Cloudflare drops planned Googlebot block for sites refusing AI training", 27 September 2026
- 2Search Engine Journal, Matt G. Southern, "Cloudflare Lets Sites Disallow AI Training Without Blocking Googlebot", 15 September 2026
- 3Best Media Info, "Cloudflare separates AI training opt-outs from search crawling for publishers", 16 September 2026
- 4heise online, Moritz Förster, "Google search yes, model training no: New Cloudflare rules", 18 September 2026
- 5Cloudflare blog, Jin-Hee Lee, "Say it once: introducing Bot Preference Sync", 21 August 2026, updated 15 September 2026
- 6Cloudflare documentation, "Block AI Bots", last updated 1 July 2026
03Reviewed & edited1 human editor▾
One editor read the draft against the evidence, tuned the framing, and signed off before it shipped.
Become a contributor
Reporting on the business of AI and want it read? We take pitches from outside contributors who bring primary sources and a number worth arguing about.
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
