클라우드플레어, 광고 게재 페이지는 AI 에이전트 기본 차단

9월 15일 뒤집힌 기본값

9월 15일부터 클라우드플레어의 광고 기반 도메인 기본값이 바뀌었다. 검색 크롤러는 통과시키고, AI 학습은 거부하며, 광고가 하나라도 게재된 페이지에서는 사용자가 지시하는 에이전트를 차단한다. 챗 조회 봇(chat-fetch bot)과 브라우저 사용형 에이전트(browser-use agent)가 모두 차단 대상이다. 에이전트가 빠져나갈 수 있는 옵트아웃 지시어는 아직 없다. 차단만 있을 뿐이다 ¹². 이 기한은 클라우드플레어가 7월에 정한 것↗으로, 복합 크롤러들에 검색과 학습을 분리하라는 압박이었다 ²³.

같은 주 아마존은 자격증명 위험을 이유로 메타의 쇼핑 에이전트 뮤즈(Muse)를 자사 스토어에서 차단했고, 샵파이는 전 가맹점의 샵페이(Shop Pay) 결제에 뮤즈를 연동했다↗. 에이전트 전쟁의 한쪽 전선은 열리고 콘텐츠 전선은 닫힌 것이다 ⁴.

크롤러 트래픽 52%가 AI 학습

클라우드플레어 네트워크의 크롤러 트래픽 가운데 AI 학습이 단독으로 52%를 차지한다. 1년 전에는 22%였다. 매튜 프린스 클라우드플레어 최고경영자(CEO)는 이제 인터넷 트래픽 대부분이 '사람이 아닌' 트래픽이라고 말한다 ¹³. 사이트 운영자들도 선을 긋고 있다. 학습을 제한하는 곳은 17%, 검색을 차단하는 곳은 1% 미만이다↗ ⁵.

검색과 학습을 동시에 수행하도록 만들어진 복합 크롤러가 검증된 크롤러 트래픽의 또 다른 36.6%를 차지한다 ⁶. 돈은 보이지 않게 움직인다. 미국인 1억3200만 명이 AI 도움을 받아 쇼핑을 해왔지만, 이 트래픽과 그 매출을 들여다볼 수 있는 판매자는 23%에 불과하다. 바로 광고 게재 페이지가 이제 기본 차단하는 그 에이전트 트래픽이다 ¹.

계량기는 셋, 페이지는 하나, 가격은 없다

구글의 초대제 파일럿↗은 콘텐츠가 젬미니(Gemini), AI 오버뷰(AI Overviews), AI 모드(AI Mode)의 답변에 '실질적으로 기여할' 때 대가를 지급한다. 무엇이 기여에 해당하는지는 구글만이 판단한다 ⁵⁷. 참가자들은 매달 서치 콘솔에서 금액 하나를 받을 뿐 그 뒤에는 어떤 계산도 없다 ⁸. 이 프로그램 브리핑을 받은 한 임원은 '상당히 블랙박스'라고 평했다. 다른 임원은 제시된 금액이 참여를 결정하기에는 너무 낮았다고 말했다 ⁵.

클라우드플레어의 페이 퍼 크롤(Pay Per Crawl)은 기계적이다. 사이트가 조회 1회당 0.001달러부터 가격을 매기고, 돈을 내는 크롤러는 HTTP 200 응답과 함께 페이지를 고스란히 받는다 ⁵. 마이크로소프트는 '전달된 가치(delivered value)'를 기준으로 콘텐츠를 코파일럿에 라이선스하는데, 이 기준을 공개적으로 정의한 적은 없다 ⁵. 돈을 내는 쪽은 AI 랩과 에이전트 구축 업체들이다. 계량기에 현금을 내거나, 에이전트가 차단돼 인벤토리를 잃는 방식이다. 어느 계량기가 이기느냐에 따라 AI가 오픈 웹에 지불할 값이 정해진다.

통행료 징수원의 장부

클라우드플레어는 차단 장치와 계량기를 모두 판다. 매출은 10개 분기 연속 늘어 2026년 2분기에는 6억9610만 달러↗를 기록했다. 전년 동기 대비 35.9% 증가한 수치지만, 이 분기에도 1억7000만 달러의 적자를 냈다 ⁹⁶. 그럼에도 시장은 지갑을 열었다. 90일 동안 43.9% 급등하며 시가총액은 1152억 달러에 달했다 ⁶.

구글의 비상구, 그리고 주목할 일정

구글은 구글 익스텐디드(Google-Extended)라는 robots.txt 토큰↗을 내세운다. 검색 순위에는 결코 영향을 주지 않는다는 게 구글의 설명이다. 파일럿에 대해서는 '배우는 단계'라고 부른다 ³⁵¹⁰. 이 토큰이 거부하는 것은 젬미니 학습뿐이다. AI 오버뷰와 AI 모드는 별도의 서치 콘솔 설정이 좌우한다 ¹⁰.

클라우드플레어의 논리는 지금도 유효하다. 광고가 붙어 있다는 것은 그 페이지가 사람을 위해 만들어졌다는 뜻이다 ¹. 타격이 집중되는 쪽은 광고 기반 소규모 퍼블리셔다. 에이전트는 읽기만 할 뿐 아무것도 사지 않으며, 광고도 결코 보지 않기 때문이다.

다음 계량기 눈금에는 날짜가 매겨져 있다. 구글의 URL 단위 구글 익스텐디드 도구는 몇 주 안으로, 클라우드플레어의 AI 요약에 콘텐츠가 얼마나 노출될지 한 번에 정하는 단일 컨트롤은 내년 초까지, 마이크로소프트 빙(Bing)의 학습 거부 설정 지원은 2027년 초가 목표다 ⁵¹⁰. 스토어들은 에이전트에게 결제 창구를 열어 줬다. 콘텐츠 세계는 이제 막 요금소를 세웠다.