Shoal Research：ロボットはHTMLリクエストの約60%を占めています

研究機関 Shoal Research が報告書を発表し、Cloudflare ネットワーク上のボットは HTML コンテンツの HTTP リクエストの約 60% を占め、人間は 38.2% であると述べています。Cloudflare の CEO マシュー・プリンスは、ボットトラフィックが 2027 年には人間を超えると予測し、その後、エージェントトラフィックの増加によりボットが人間のトラフィックを超えたと発表しました。

報告書によると、AI アプリケーションはユーザーをチャットインターフェースに留め、コンテンツを要約することに焦点を当てており、元のサイトに戻ることはありません。AI クローラーのクロールと再訪の比率は Googlebot よりもはるかに高く、ClaudeBot は過去一年間に平均して約 4200 ページを再訪ごとにクロールしています。Pew の研究によれば、AI の要約によりクリック率は 15% から 8% に低下しました。

robots.txt とコンテンツの流量交換モデルは維持が難しいです。訴訟とプライベートライセンスは一時的な対策です。リクエストに応じた支払いは、キー付きのクローズドマーケットと、HTTP 402 やステーブルコインを使用したオープンプロトコル（x402 や MPP など）に分かれています。ほとんどのウェブサイトは依然として無料で提供するか、ブロックしています。