Your Site, your rules: new AI traffic options for all customers
11 days ago
- #AI Bot Management
- #Web Security
- #Content Control
- 一年前，Cloudflare 宣布首个“内容独立日”，旨在帮助网站所有者屏蔽AI爬虫，并推出了按次爬取付费市场。
- 关于AI爬虫的讨论已从单纯屏蔽训练演变为寻求精细化解决方案，认识到网站所有者需要比单纯屏蔽所有自动化更丰富的选项。
- 小型网站面临两难选择：允许AI训练以获得可见性，或屏蔽训练并面临无法被检索的风险，这种现状不公平地偏向大型搜索引擎提供商。
- AI现已集成到谷歌应答引擎等众多服务中，使搜索从AI排序结果转向直接在结果页面提供答案。
- Cloudflare更新后的方案根据行为将爬虫分为搜索型、代理型和训练型三类，而非仅标注为AI爬虫，以提供更透明的控制机制。
- 新的管理选项允许网站所有者基于这三种使用场景控制AI流量，默认设置为屏蔽广告页面的训练型和代理型爬虫，同时允许搜索型爬虫。
- 像Googlebot这样的多功能爬虫将根据其所有行为类型进行处理，客户可在2026年9月15日前选择退出默认配置。
- BotBase作为企业客户的可见性工具正式推出，可追踪所有已知爬虫并进行分类，支持精细化管理和过滤。
- robots.txt引入了新的“内容使用”信号，允许网站所有者指定爬虫使用内容的方式——即时使用、参考使用或完全使用——从而增强对内容重用的控制。
- “已验证”爬虫的定义已更新为与基于类别的许可机制保持一致，验证流程对爬虫运营商也更加透明和开放。
- Cloudflare通过Forwarded标头实验传递信任机制，确保可信运营商即便经过多层中介仍能保持访问权限。
- 这些变革旨在赋予网站所有者更多内容使用控制权，提升透明度，并适应不断发展的网络生态，所有新功能现已全面上线。