- 在排名前10,000的网站中，38%针对GPTBot的规则是在2023年第四季度编写的，当时正值GPTBot刚推出不久，且《纽约时报》起诉OpenAI的时期。
- 大多数网站会勤勉地维护其robots.txt文件，但主要专注于屏蔽GPTBot、ClaudeBot和PerplexityBot等训练爬虫，而基本忽略了即时回答型机器人（例如OAI-SearchBot、Claude-User）。
- 在屏蔽训练爬虫的网站中，71%针对Anthropic、53%针对OpenAI、50%针对Perplexity的网站没有为即时回答型机器人设置规则，而明确允许即时回答型机器人的情况很少（不到4%）。
- 在5,577个网站中，有144个明确允许即时回答型机器人，这表明早期已开始采用选择性加入机制来支持AI生成答案。