クラウドフレア、広告を出すページでAIエージェントを原則ブロック

初期設定の転換は9月15日

9月15日から、クラウドフレアが広告収入で運営されるドメインに適用する初期設定は、検索クローラーは通す一方でAI学習を拒否し、広告が表示されるページではユーザーの指示で動くエージェントをブロックする。チャット用の取得ボットもブラウザー操作型のエージェントも対象だ。エージェント向けのオプトアウト指令はまだなく、ブロックだけが用意されている¹²。クラウドフレアは7月にこの期限を設定↗し、検索と学習を兼用するクローラーに両者の分離を迫っていた²³。

同じ週には、アマゾンが認証情報をめぐるリスクを理由に、米メタの買い物エージェント「Muse」を自社サイトから締め出し、ショッピファイは出店する全加盟店の「Shop Pay」決済にMuseを組み込んだ↗。エージェントをめぐる戦争で一つの正面が開かれ、コンテンツの正面は閉ざされた⁴。

AI学習がクローラートラフィックの52%に

AI学習だけで、クラウドフレアのネットワーク上のクローラートラフィックの52%を占める。1年前は22%だった。CEO(最高経営責任者)のマシュー・プリンス氏は、インターネット上のトラフィックの大半は今や人間のものではないとみる¹³。サイト運営者も線引きを進める。学習を制限するのは17%、検索をブロックするのは1%未満↗だ⁵。

検索と学習を1つのクローラーで両方こなす兼用型は、検証済みクローラートラフィックのさらに36.6%を担う⁶。カネは見えないところで動く。AIの助けを借りて買い物をした米国人は1億3200万人に上るのに、そのトラフィックや売上を把握できる出店者は23%にとどまる。広告付きページが初期設定でブロックするようになったのは、まさにこのエージェントのトラフィックだ¹。

3つのメーター、1つのページ、価格はまだない

グーグルの招待制の試験運用↗は、コンテンツがGemini、AI Overviews、AIモードでの回答に「大きく貢献した」とみなされた場合に支払う。何が該当するかを判定するのはグーグルだけだ⁵⁷。参加者にはSearch Consoleで毎月の金額が示されるが、算出方法は開示されない⁸。プログラムの説明を受けた経営幹部の1人は「かなりのブラックボックスだ」と評し、別の幹部は提示額が低すぎて参加に踏み切れないと話した⁵。

クラウドフレアの「ペイ・パー・クロール（Pay Per Crawl）」は機械的な仕組みだ。サイト側が取得1回あたり0.001ドルから価格を設定し、代金を払ったクローラーにはページがHTTP 200付きでそのまま提供される⁵。マイクロソフトはCopilot向けのコンテンツライセンスの基準を「もたらされた価値（delivered value）」としているが、その定義は公表していない⁵。支払うのはAIラボやエージェント開発企業だ。その形は、メーターでの現金か、エージェントをブロックされて失うインベントリか、どちらかになる。どのメーターが勝つかで、AIにとってのオープンウェブの値段が決まる。

料金所の帳簿

クラウドフレアは遮断とメーターの両方を売っている。売上高は10四半期連続で増加し、2026年第2四半期は6億9610万ドル↗で前年同期比35.9％増となった。それでも同四半期は1億7000万ドルの赤字を計上した⁹⁶。市場はそれでも払い続けている。90日間で43.9％上昇し、時価総額は1152億ドルに達している⁶。

グーグルの「出口」と今後の焦点

グーグルはGoogle-Extendedという、検索順位には一切影響しないとグーグル自身が主張するrobots.txtのトークン↗を前面に出し、試験運用を「学習段階」と位置づける³⁵¹⁰。このトークンで拒否できるのはGeminiの学習だけだ。AI OverviewsとAIモードはSearch Consoleの別の設定で管理される¹⁰。

クラウドフレアの見方は今も通る。広告が付いたページは人間のために作られたものだ、ということである¹。痛いのは広告収入で生きる小規模パブリッシャーだ。エージェントはページを読むだけで、何も買わず、広告も決して目にしないからだ。

メーターの次の検針日は、すでに決まっている。グーグルのURL単位のGoogle-Extendedツールは数週間以内に登場する。クラウドフレアの、AI要約に載せるコンテンツ量を単一の設定で制御する機能は来年早々までに提供される。マイクロソフトのBingの学習拒否対応は2027年前半が目標だ⁵¹⁰。店舗はチェックアウトをエージェントに開いた。コンテンツの層は、たった今料金所を設置した。