Sites that block AI training crawlers mostly ignore the answer time bots
5 days ago
- #AI-crawlers
- #robots.txt
- #web-monetization
- 在排名前10,000的网站中，38%针对GPTBot的规则是在2023年第四季度编写的，当时正值GPTBot刚推出不久，且《纽约时报》起诉OpenAI的时期。
- 大多数网站会勤勉地维护其robots.txt文件，但主要专注于屏蔽GPTBot、ClaudeBot和PerplexityBot等训练爬虫，而基本忽略了即时回答型机器人（例如OAI-SearchBot、Claude-User）。
- 在屏蔽训练爬虫的网站中，71%针对Anthropic、53%针对OpenAI、50%针对Perplexity的网站没有为即时回答型机器人设置规则，而明确允许即时回答型机器人的情况很少（不到4%）。
- 在5,577个网站中，有144个明确允许即时回答型机器人，这表明早期已开始采用选择性加入机制来支持AI生成答案。
- 许多网站（7,627个中的883个）禁止访问robots.txt文件，导致AI机器人无法读取规则，这可能反映了反机器人立场或安全措施。
- 研究揭示了一个盲点：网站专注于‘训练之战’，却忽略了为即时回答型抓取制定策略，而这类抓取正通过像Cloudflare那样的收费系统变得可盈利。
- 有效的AI整合不仅需要允许即时回答型机器人，还要确保网页能为AI查询提供清晰、可回答的内容。