あるいは、世界最大のウェブスクレイピング会社の一つであるブライトデータ社のCEOであるレンチナー氏は、自社のボットは非公開情報を収集していないと述べている。 Bright Data は以前、プラットフォームからコンテンツを不適切にスクレイピングしたとして Meta と X によって訴訟を起こされました。 （メタはその後訴訟を取り下げ、カリフォルニア州の連邦判事はXが起こした訴訟を却下した。）

もう一つの引用企業である Scrapingbee の広報担当者 Karolis Stasiuleviciu 氏は WIRED に次のように語った。「Scrapingbee は、オープンな Web をアクセシブルにするという、インターネットの中核原則の 1 つに従って動作します。公開 Web ページは、設計上、人間と機械の両方に読み取れるようになっています。」

別のスクレイピング会社であるOxyLabsは、署名のない声明で、同社のボットは「ログイン、ペイウォール、認証の背後にあるコンテンツにはアクセスできない。当社は顧客に対し、公開されている情報にアクセスする目的でのみ当社のサービスを使用することを要求しており、当社のプラットフォーム全体でコンプライアンス基準を強制している」と述べた。

OxyLabsは、企業にはサイバーセキュリティ目的や調査報道など、Webコンテンツを削除する正当な理由が数多くあると述べた。同社はまた、一部のWebサイトが採用している対策は異なるユースケースを区別していないとも述べている。 「現実には、最近のアンチボット システムの多くは、悪意のあるトラフィックと正規の自動アクセスをうまく区別できません」と OxyLabs は言います。

ウェブスクレイピング戦争はパブリッシャーにとって頭痛の種となっているだけでなく、新たなビジネスチャンスも生み出している。 Tolbitのレポートによると、現在40社以上の企業がAIトレーニングやその他の目的でWebコンテンツを収集できるボットをマーケティングしていることが判明した。 AI を活用した検索エンジンや OpenClause などのツールの台頭により、これらのサービスの需要が増加すると考えられます。

一部の企業は、AI エージェントがコンテンツをブロックしようとするのではなく、コンテンツを提供できるように支援すると約束しています。これは、生成エンジン最適化 (GEO) として知られる戦略です。 「私たちは本質的に新しいマーケティング チャネルの台頭を目の当たりにしています」と、コンテンツが AI ツールで目立つように最適化される Brandlight の最高ビジネス責任者である Uri Gaffney 氏は言います。

「これは 2026 年にさらに激化するでしょう。この展開は、検索、広告、メディア、コマースが融合した完全なマーケティング チャネルとして展開されることになるでしょう」とガフニー氏は言います。

この記事はもともと Wired.com に掲載されたものです。