Cloudflare to introduce pay-per-crawl for AI bots
a year ago
- #Content Monetization
- #AI
- #Cloudflare
- 出版商和内容创作者面临二选一：要么允许AI爬虫免费访问，要么彻底屏蔽它们。
- Cloudflare推出第三种选择：'按次付费爬取'，允许内容创作者向AI爬虫收取访问费用。
- 该系统使用HTTP 402状态码（'需要付款'）来促成爬虫与内容所有者之间的交易。
- 出版商可设置统一访问费率、选择允许/收费/屏蔽特定爬虫，并支持系统外协商。
- 爬虫必须通过Web Bot Auth提案进行身份验证以防欺诈，并在请求头中声明支付意向。
- 提供两种支付流程：反应式（先发现后支付）与主动式（先声明意向），资金结算由Cloudflare处理。
- 该计划未来将发展动态定价、细粒度授权，并支持智能体交互等高级功能。
- 目前处于封闭测试阶段，感兴趣方可注册或联系Cloudflare获取详情。