Блокировка ИИ-ботов Cloudflare теперь останавливает всех, кроме Google, Apple и Microsoft
Неделя, которую Cloudflare отвела на превращение клиентских блокировок обучения ИИ в предпочтения robots.txt, истекла. Теперь Google, Apple и Microsoft лишь просят соблюдать эти предпочтения; краулеры для обучения ИИ всех остальных компаний по-прежнему блокируются на уровне сети Cloudflare.
Vincent Jiang · 3 min read
Cloudflare в письме клиентам от 16 сентября 2026 года сообщила, что устаревшие настройки Block AI Bots в течение следующей недели будут перенесены автоматически, а сам переключатель по завершении миграции исчезнет из панели управления 1. Эта неделя истекла. То, что издатели когда-то включали одним кликом как блокировку, теперь для трех самых важных компаний — вежливая записка в текстовом файле.
Во что превратилась блокировка
Схема соответствия настроек жестко определена. Прежний переключатель превращается в Search Allow для поиска, Disallow AI Training для обучения и блокировку агентов на страницах с рекламой 12. Disallow AI Training записывает в robots.txt директиву, запрещающую обучение, однако Googlebot, Applebot и Bingbot продолжают скачивать страницы: все три компании используют один и тот же краулер и для индексации поиска, и для обучения моделей 12. Разрыв, который призвана закрыть эта настройка, реален: 17% сайтов в сети Cloudflare блокируют обучение в той или иной форме, менее 1% блокируют поисковых ботов, а за сетью компании находится более пятой части веба 13.
Блокировка обучения ИИ в сети Cloudflare распространена, блокировка поиска — редкость
Data
| Value | |
|---|---|
| Сайты, блокирующие обучение ИИ | 17% |
| Сайты, блокирующие поисковых краулеров | <1% |
| Веб за сетью Cloudflare | >20% |
Теперь два уровня принуждения
Настройка всё-таки кого-то останавливает. Краулеры для обучения ИИ, принадлежащие OpenAI, Anthropic, Meta и Amazon, по-прежнему жёстко блокируются на уровне сети Cloudflare 4. Google, Apple и Microsoft продолжают скачивать страницы под меткой Accountable, а дальнейшая судьба страницы зависит от того, соблюдает ли оператор этот файл 14. Microsoft не сможет даже прочитать новое правило, пока не появится поддержка robots.txt, запланированная на начало 2027 года 12.
Accountable — собственное обозначение Cloudflare, а не внешняя сертификация 4. Метку присвоили за возможности, которыми каждый оператор уже располагает, — в паре с обязательствами на конкретные сроки по остальным пунктам 12. А в августе четвёртое условие требовало от оператора «публично показать», что запрет обучения не вредит поисковой выдаче; сентябрьская версия просит лишь заверений 51.
Документация всё ещё обещает обратное
Собственная документация Cloudflare, обновлённая в последний раз 1 июля 2026 года всё ещё утверждает, что краулеры смешанного назначения «также будут заблокированы при любых настройках блокировки обучения ИИ, включая устаревшую опцию Block AI Bots» 6. Для каждого переключателя страница перечисляет три варианта: Allow, Block on pages with ads и Block 6. В выпущенном продукте есть четвёртый — Disallow AI Training, — о котором в руководстве нет ни слова 1. Реальное поведение продукта обратно тому, что описано на странице, которую Cloudflare продолжает публиковать.
Единственный путь назад, к жёсткой блокировке, — режим Block, но теперь он полностью отрезает сайт от поиска Google, Apple и Microsoft 12. Блокировка Bingbot сразу исключает сайт из Bing, Yahoo и Copilot 1.
Чек придёт не сейчас, а через несколько недель
Отчётность на уровне URL — механизм, который должен показать, какие из запрещённых страниц всё же использовались, — появится у Google через несколько недель, у Apple — в следующем году 124. Пока этого не произошло, расклад один: издатели сохраняют поисковый трафик, гиганты — корпус данных, Cloudflare — обе стороны в качестве клиентов, а единственные краулеры, которые ещё останавливаются принудительно, принадлежат ИИ-конкурентам гигантов 4. На очереди сводки: централизованные средства управления намечены на начало 2027 года 13.
How this brief was made
01Gathered & sourced272 channels · 1,762 articles▾
Agents swept 272 channels and ingested 1,762 articles, then de-duplicated and ranked them for signal.
02Verified & cross-validated6 claims · 22 data feeds▾
Every one of 6 load-bearing claims was checked against primary sources, with 22 live data feeds reconciling the figures and charts.
- 1PPC Land, "Cloudflare drops planned Googlebot block for sites refusing AI training", 27 September 2026
- 2Search Engine Journal, Matt G. Southern, "Cloudflare Lets Sites Disallow AI Training Without Blocking Googlebot", 15 September 2026
- 3Best Media Info, "Cloudflare separates AI training opt-outs from search crawling for publishers", 16 September 2026
- 4heise online, Moritz Förster, "Google search yes, model training no: New Cloudflare rules", 18 September 2026
- 5Cloudflare blog, Jin-Hee Lee, "Say it once: introducing Bot Preference Sync", 21 August 2026, updated 15 September 2026
- 6Cloudflare documentation, "Block AI Bots", last updated 1 July 2026
03Reviewed & edited1 human editor▾
One editor read the draft against the evidence, tuned the framing, and signed off before it shipped.
Become a contributor
Reporting on the business of AI and want it read? We take pitches from outside contributors who bring primary sources and a number worth arguing about.
Deepdive
AI-generated from this story and its cited sources. Not investment advice.
