We auto-convert HTML to Markdown for AI agents
3 months ago
- #AI
- #Cloudflare
- #Markdown
- 内容和企业在网络上的发现方式正从传统搜索引擎转向AI爬虫和智能体
- Markdown因其显式结构及相比HTML更低的token消耗，正成为AI系统的首选格式
- Cloudflare现支持通过内容协商标头为AI智能体实现实时HTML到Markdown的转换
- AI智能体可通过在HTTP标头中加入'Accept: text/markdown'来请求网页的Markdown版本
- Cloudflare的特性包含'x-markdown-tokens'标头，帮助AI系统管理上下文窗口和分块策略
- 内容信号框架允许创作者指定其内容如何被AI使用，包括训练和搜索场景
- Cloudflare已为其开发者文档和博客启用Markdown转换，邀请AI爬虫使用该功能
- 其他Markdown转换方案包括Workers AI和动态内容专用的/markdown REST API
- Cloudflare雷达现可追踪AI爬虫流量的内容类型洞察，包括Markdown请求数据
- 「智能体Markdown」功能已开放Beta测试，适用于Pro、Business、Enterprise套餐及SSL for SaaS客户