Cloudflare заблокировала 13,47% запросов ИИ-ботов в III квартале против 5,98% годом ранее; вендоры продают агентам путь за стену

В этом квартале стена вокруг интернета стала выше, а две компании встали по ее разные стороны — и собирают ренту, каждая в своей валюте.

15 сентября Cloudflare▲+5.81% — Cloudflare, up 5.81 percent today сменила настройки по умолчанию: новые домены в ее сети теперь полностью блокируют ИИ-агентов, а существующие сайты компания перевела в режим блокировки агентов на любых страницах с рекламой ¹. В статистике трафика это уже видно: в III квартале сайты в сети Cloudflare ответили отказом в доступе на 13,47% запросов ИИ-ботов против 5,98% годом ранее — предварительные расчеты на основе Radar↗ ². Спрос под запреты не подстраивается. Доля поиска и инициируемых пользователями запросов — целевого краулинга, стоящего за ответами агентов, — выросла с 6,51% до 11,92% всей активности ИИ-краулинга между II и III кварталами ². К сентябрю, по собственным данным Cloudflare, на ботов и агентов приходилось уже больше половины всех запросов в интернете ³.

Агенты застревают на кассе

Блокировки уже бьют по потребителям. Amazon▲+2.50% — Amazon, up 2.50 percent today больше не пускает Muse от Meta▼−0.37% — Meta, down 0.37 percent today на свой розничный сайт — ни просматривать, ни покупать. Walmart, партнер Muse, оставляет агентов на кнопках подтверждения «я человек», которые, по словам ритейлера, появляются по ошибке. Yelp отказывает любому трафику не от людей, если агент не платит по программе лицензирования данных ¹. Ответ Meta — открытый стандарт «агент — бизнес» (agent-to-business), сформулированный вместе с Walmart, Stripe, SierraPVT~$10B — Sierra, private, latest valuation ~$10B, Genesys, Rocket, NiCE и DecagonPVT~$1.5B — Decagon, private, latest valuation ~$1.5B: восемь названных партнеров работают над тем, чтобы отделять хороших ботов от плохих ¹.

Домовладелец продает обеим сторонам

Через Cloudflare проходит примерно пятая часть веб-трафика ³, и компания монетизирует стену с обеих сторон: это маркетплейс, где ИИ-боты платят за доступ к данным, и тестирование браузера, созданного специально для ИИ-агентов ¹. Насаждение дефицита — это и есть питч, когда ключ продает та же компания: чем больше агентов она оставляет по ту сторону стены, тем ценнее платный вход через ее маркетплейс. Функция безопасности превращается в пункт взимания платы, где оператор распоряжается очередью.

Сторона вендоров действует тише, но прицельнее. Anakin (выпуск Y Combinator S21) опубликовала руководство для разработчиков 6 октября↗ — в тот же день, когда TechCrunch описал волну блокировок↗ ⁴. Каталог Wire охватывает более 940 платформ и свыше 4500 действий; обход Cloudflare, Akamai, PerimeterX и DataDome уже встроен — согласно маркетинговым материалам самой компании; редакция это не тестировала↗ ⁵. Тарификация: 1 кредит за один скрейп (scrape), фиксированные 2 за действие в Wire, от $12 до $900 в месяц; неудачные задания не тарифицируются↗ ⁶. Последнее условие — вся бизнес-модель в миниатюре: чем жестче настройки по умолчанию, тем чаще самодельные агенты по умолчанию терпят неудачу, а неудачи, за которые не выставляют счет, перегоняют объемы к тем, кто гарантирует переход.

Деньги на развилке

Если стандарт восьми партнеров формализует платный доступ, операторы платного прохода выиграют дважды, а вендоров обхода вытеснит к лицензионным партнерствам; широта проекта (Stripe — платежи, Walmart — розница, Sierra — корпоративные агенты) — сигнал, что игра идет всерьез ¹. Если стандарт забуксует, ров станет только глубже. Так или иначе, бесплатный веб, который обещали агентам, переоценивают — по одной ошибке 403 за раз.