Cloudflare блокирует ИИ-агентов на любой странице с рекламой

Настройки по умолчанию изменились 15 сентября

С 15 сентября настройки Cloudflare по умолчанию для доменов с рекламой пропускают поисковых краулеров, запрещают обучение ИИ, а агентов, действующих по поручению пользователя, блокируют на любой странице, где показывается реклама. Под запрет подпадают и боты, запрашивающие страницы для чат-ботов (chat-fetch), и агенты, использующие браузер (browser-use); отдельной директивы для агентов, позволяющей обойти блокировку, пока не появилось — есть только сама блокировка ¹². Этот дедлайн Cloudflare назначила еще в июле↗, вынуждая краулеры смешанного типа (mixed-use crawlers) разделить поиск и обучение ²³.

На той же неделе Amazon запретила шопинг-агент Muse от Meta в своем магазине из-за рисков, связанных с учетными данными, а Shopify встроила Muse в чекаут Shop Pay для всех своих мерчантов↗: один фронт войны агентов открылся, контентный — закрылся ⁴.

Обучение ИИ — уже 52% трафика краулеров

Только на обучение ИИ приходится 52% трафика краулеров в сети Cloudflare — годом ранее было 22%. По словам гендиректора компании Мэттью Принса, сегодня большая часть трафика в интернете создается не людьми ¹³. Владельцы сайтов проводят границы: 17% ограничивают обучение, менее 1% блокируют поиск↗ ⁵.

Краулеры смешанного типа, созданные сразу и для поиска, и для обучения, добавляют еще 36,6% верифицированного трафика краулеров ⁶. Деньги при этом движутся незаметно: 132 млн американцев совершали покупки с помощью ИИ, но лишь 23% мерчантов видят этот трафик и связанные с ним продажи — тот самый агентский трафик, который страницы с рекламой теперь блокируют по умолчанию ¹.

Три счетчика, одна страница — ни одной цены

Пилот Google, доступный только по приглашениям↗, платит, когда контент «вносит существенный вклад» в ответ Gemini, AI Overviews или AI Mode, и что считать таким вкладом, решает только сам Google ⁵⁷. Участники получают в Search Console ежемесячную сумму без пояснений, как она рассчитана ⁸. Один из руководителей, ознакомленных с программой, назвал ее «настоящим черным ящиком»; по словам другого, предлагаемые суммы слишком малы, чтобы соглашаться на участие ⁵.

Модель Cloudflare Pay Per Crawl — чистая механика: сайты сами назначают цену от $0,001 за запрос, а заплативший краулер получает страницу целиком — со статусом HTTP 200 ⁵. Microsoft лицензирует контент для Copilot по принципу «доставленной ценности» (delivered value), которую публично так и не определила ⁵. Платят же ИИ-лаборатории и создатели агентов — живыми деньгами у счетчика либо упущенным инвентарем, когда их агентов блокируют. Какой «счетчик» победит, тот и задаст цену открытого веба для ИИ.

Бухгалтерия сборщика платы

Cloudflare продает и блокировку, и счетчик. Выручка растет десять кварталов подряд: во II квартале 2026 года она достигла $696,1 млн↗, прибавив 35,9% год к году, но квартал по-прежнему приносит убыток — $170 млн ⁹⁶. Рынок, впрочем, все равно заплатил: капитализация компании — $115,2 млрд после рывка на 43,9% за 90 дней ⁶.

Съезд для Google и что ждать дальше

Google ссылается на Google-Extended — токен в robots.txt, который, по словам компании, никогда не влияет на ранжирование в поиске↗, и называет пилот этапом обучения ³⁵¹⁰. Но токен отключает лишь обучение Gemini; за AI Overviews и AI Mode отвечает отдельная настройка в Search Console ¹⁰.

Логика Cloudflare не изменилась: реклама — признак страницы, сделанной для человека ¹. Под ударом оказывается небольшой издатель, живущий за счет рекламы: агент читает, ничего не покупает и никогда не видит рекламу.

Следующие показания счетчиков уже назначены: инструменты Google-Extended на уровне отдельных URL появятся у Google в ближайшие недели, единый переключатель Cloudflare, управляющий тем, сколько контента сайта попадает в ИИ-сводки, выйдет к началу следующего года, а Microsoft наметила поддержку запрета обучения для Bing на начало 2027 года ⁵¹⁰. Интернет-магазины открыли агентам чекауты; контентный слой только что обзавелся пунктом взимания платы.