클라우드플레어 AI 차단, 이제 구글·애플·마이크로소프트만 못 막는다

클라우드플레어는 2026년 9월 16일자 고객 이메일↗에서 기존 Block AI Bots 설정이 이후 일주일 동안 자동으로 이전되며, 이전이 완료되면 이 설정 스위치는 대시보드에서 사라질 것이라고 밝혔다 ¹. 이제 그 일주일이 지났다. 퍼블리셔들이 '차단'을 눌러 왔던 설정은 가장 중요한 세 기업을 상대로는 텍스트 파일에 적어 둔 정중한 메모에 불과하다.

차단은 무엇이 됐나

매핑은 확정됐다. 기존 토글은 검색 '허용(Search Allow)', AI 학습 'AI 학습 비허용(Disallow AI Training)', 그리고 광고가 있는 페이지에서 에이전트 차단으로 옮겨 간다 ¹². 'AI 학습 비허용'은 robots.txt에 학습 금지 지시문을 남기지만 구글봇·애플봇·빙봇은 계속 페이지를 가져간다. 세 회사 모두 검색 인덱싱과 모델 학습을 크롤러 하나로 함께 수행하기 때문이다 ¹². 이 설정이 겨냥한 간극은 실재한다. 클라우드플레어 네트워크를 쓰는 사이트의 17%는 어떤 형태로든 AI 학습을 차단하지만 검색 봇을 차단하는 곳은 1% 미만이고, 이 네트워크는 전체 웹의 5분의 1이 넘는 앞단에 자리한다 ¹³.

이제 차단은 두 단계로 나뉜다

이 설정이 여전히 막아 주는 상대는 있다. 오픈AI·앤스로픽·메타·아마존이 운영하는 학습 크롤러는 클라우드플레어 엣지에서 곧바로 차단된다⁴. 구글·애플·마이크로소프트의 크롤러는 클라우드플레어의 '어컨터블(Accountable)' 라벨을 달고 계속 크롤링한다. 그 뒤 페이지에서 무슨 일이 벌어지는지는 사업자가 그 파일을 지키느냐에 달려 있다¹⁴. 마이크로소프트는 2027년 초 도입이 목표인 robots.txt 지원 기능이 나오기 전까지 새 규칙 자체를 읽지도 못한다¹².

'어컨터블'은 클라우드플레어가 스스로 붙인 이름이지 외부 인증이 아니다⁴. 클라우드플레어는 각 사업자가 이미 갖춘 기능을 근거로 라벨을 부여했고, 나머지 항목에는 기한을 정한 약속을 짝지어 붙였다¹². 8월 버전의 네 번째 조건↗은 학습을 비허용해도 검색 결과가 나빠지지 않는다는 사실을 "공개적으로 입증"하라고 사업자에게 요구했다. 9월 버전은 그저 확약만을 구할 뿐이다⁵¹.

매뉴얼은 여전히 정반대를 말한다

클라우드플레어의 공식 문서(2026년 7월 1일 마지막 업데이트)↗는 검색과 학습을 겸하는 크롤러 역시 "구형 Block AI Bots 옵션을 포함해 AI 학습을 차단하는 모든 설정에서 함께 차단된다"고 여전히 적고 있다⁶. 이 문서는 각 설정마다 허용(Allow), 광고가 있는 페이지에서 차단(Block on pages with ads), 차단(Block)의 세 가지 선택지를 제시한다⁶. 그런데 실제로 나온 제품에는 문서가 단 한 번도 언급하지 않은 네 번째 선택지 'AI 학습 비허용(Disallow AI Training)'이 들어 있다¹. 출시된 동작은 클라우드플레어가 지금도 게시하는 문서와 정반대다.

다시 완전 차단으로 돌아가는 길은 '차단(Block)' 하나뿐이다. 이 옵션을 켜면 이제 사이트가 구글·애플·마이크로소프트 검색에서 통째로 잘려 나간다¹². 빙봇을 차단하면 사이트는 빙·야후·코파일럿에서 한꺼번에 빠진다¹.

'영수증'은 몇 주 뒤에야 나온다

학습을 비허용한 페이지 가운데 그래도 사용된 곳이 어디인지 밝혀 내도록 만들어진 장치가 URL 단위 리포팅(URL-level reporting)이다. 구글에서는 몇 주 뒤, 애플에서는 내년에 나올 예정이다¹²⁴. 그 전까지 장부는 한쪽으로만 적힌다. 퍼블리셔는 검색 트래픽을 지키고 거인들은 코퍼스를 가져가며 클라우드플레어는 양쪽을 모두 고객으로 쥔다. 힘으로 여전히 막히는 크롤러는 거인들의 AI 경쟁사 소속뿐이다⁴. 다음은 요약(Summary) 차례이고, 중앙 일괄 관리 기능은 2027년 초 도입이 목표다¹³.