クラウドフレア、AIボットの13.47%を拒否 5.98%から急増 「壁」越えを売る業者も

今四半期、ウェブを取り囲む「壁」はさらに高くなった。2社の企業がその両側に立ち、異なる通貨で家賃を徴収している。

クラウドフレア▲+5.81% — クラウドフレア, up 5.81 percent todayがデフォルト設定を反転させたのは9月15日だ。同社のネットワークに新規参加するドメインはAIエージェントを全面的にブロックし、既存サイトも広告を掲載するページではエージェントを拒否する設定になった¹。変更の時期はトラフィックデータに表れている。同社ネットワーク上のサイトは7～9月期、AIボットのリクエストの13.47%にアクセス拒否の応答を返した。1年前は5.98%だった（Radarデータに基づく暫定値↗ ²）。需要は「壁」に合わせて縮んでいない。エージェントの回答を支える目的型クロールである検索・ユーザー起点のリクエストは、AIクロール活動に占める割合が4～6月期の6.51%から7～9月期には11.92%へ跳ね上がった²。9月には、クラウドフレア自身の集計でボットとエージェントがウェブ全体のリクエストの過半を占めていた³。

エージェント、精算画面で足止め

ブロックのしわ寄せはすでに消費者に及んでいる。アマゾン▲+2.50% — アマゾン, up 2.50 percent todayは現在、メタ▼−0.37% — メタ, down 0.37 percent todayのエージェント「Muse」に対して、自社小売サイトでの閲覧も購入も認めていない。Museの提携先であるウォルマートは、意図的ではないと同社が説明する人間確認ボタンでエージェントを足止めしている。Yelpは、エージェントが同社のデータライセンスプログラムに支払わない限り、人間以外のトラフィックをすべて拒否する¹。メタの打ち手は、ウォルマート、ストライプ、SierraPVT~$10B — Sierra, private, latest valuation ~$10B、ジェネシス、Rocket、NiCE、DecagonPVT~$1.5B — Decagon, private, latest valuation ~$1.5Bとともに起草した、エージェント・企業間のオープンな標準規格だ。メタを含む8社が名を連ね、正当なボットと悪質なボットの仕分けを目指す¹。

地主は両側で商売

クラウドフレアのネットワークはウェブ全体のトラフィックの約2割をさばく³。同社はこの壁を両側から金に換えている。一つはAIボットがアクセスするデータの対価を支払うマーケットプレイス、もう一つはAIエージェント専用に開発したブラウザーの実証実験だ¹。鍵を売るのが当の会社である以上、希少性の徹底こそが売り文句になる。締め出すエージェントが増えるほど、マーケットプレイス経由の有料アクセスの価値は高まる。セキュリティー機能は、運営者が行列まで仕切る料金所へと変わりつつある。

一方、ベンダー側の動きは静かだが、より鋭い。Anakin（Yコンビネーター2021年サマー期）は10月6日、開発者向けガイドを公開↗した。同日、TechCrunchがブロックの波を詳報↗している⁴。同社の「Wire」カタログは940超のプラットフォームと4500超のアクションを網羅し、クラウドフレア、アカマイ、PerimeterX、DataDomeの迂回機能を組み込むという。同社自身のマーケティングによる訴えで、本稿では検証していない↗⁵。料金はスクレイピング1回で1クレジット、「Wire」アクション1件で一律2クレジット。月額は12～900ドルで、失敗したジョブは課金対象外↗⁶。この最後の条件は、ビジネスモデルの縮図そのものだ。デフォルト設定が厳しくなるほど、自作エージェントにとって失敗は既定の体験となり、課金されない失敗が、越境を保証する事業者へ利用を寄せていく。

金の行方を分ける分岐

8社による標準規格が有料アクセスを制度化すれば、料金所の運営者は二重に得をし、迂回（バイパス）ベンダーはライセンスを伴う提携へと追い込まれる。規格案の幅の広さ（決済はストライプ、小売はウォルマート、企業向けエージェントはSierra）が、本気度を物語る¹。標準化が立ち消えれば、堀はさらに深くなる。いずれに転んでも、AIエージェントに約束された「無料のウェブ」は値を付け直されていく。1件の「403」（アクセス拒否）ごとに。