Nothing to see here (it was Cloudflare crawler hints)
9 months ago
- #HTTP Headers
- #Cloudflare
- #ChatGPT
- ChatGPT代理是一项浏览器自动化功能，将取代Operator研究预览版，并计划于8月31日弃用。
- ChatGPT代理的HTTP头信息通过Mozilla/5.0用户代理暴露身份，但其运行于Linux系统（Sec-Ch-Ua-Platform标头显示为'Linux'）。
- Signature-Agent标头和HTTP消息签名标准（RFC 9421）为识别ChatGPT代理流量提供了可靠方法。
- 最初认为ChatGPT向Bingbot和Yandex泄露URL的观点是错误的，实际原因是Cloudflare的爬虫提示功能。
- Cloudflare爬虫提示功能会自动通知Bing、Yandex等搜索引擎新内容的存在，这解释了爬虫的访问行为。
- 调查过程中使用了微软Verify Bingbot工具和Yandex的反向DNS查询等技术手段来验证爬虫身份。