Cloudflare: Stay discoverable in search while disallowing AI training
5 hours ago
- Cloudflare 推出新的“禁止 AI 训练”设置，允许网站所有者阻止 AI 训练，同时保留在搜索结果中的索引。
- 来自 Apple、Google 和 Microsoft 的混合用途爬虫已遵守或承诺遵守此设置，消除了之前搜索可发现性与 AI 训练之间的权衡。
- “阻止”和“在含广告页面阻止”设置现在适用于所有训练爬虫，包括混合用途爬虫，而“禁止 AI 训练”则为可问责的机器人保留搜索访问权限。
- 现有网站所有者的偏好将自动迁移，并为广告支持的网站提供新选项，以在含广告页面上阻止 AI 训练和代理。
- 可问责的爬虫运营商（Apple、Google、Microsoft 及其他）提供 AI 训练、AI 摘要、URL 级别透明度的退出机制，并保证阻止训练不会影响搜索排名。
- Cloudflare 正在开发更细粒度的 AI 摘要控制功能，预计明年初推出，允许网站所有者在 Cloudflare 上一劳永逸地设置偏好，而无需与每个运营商单独协商。
- AI 摘要的影响喜忧参半：它们减少了网站访问量，但吸引了更高意向的流量，网站所有者需要控制其内容的使用程度。
- Cloudflare 旨在推动标准（如 ai-prefs）的演进，并与 IETF 等组织合作，建立可互操作的爬虫控制协议。