Thermoptic – HTTP proxy which cloaks requests as Chrome across all stack layers
8 months ago
- #web-scraping
- #privacy
- #fingerprinting
- Thermoptic是一款专为绕过采用JA4+等指纹识别技术封锁特定HTTP客户端的服务而设计的HTTP代理工具。
- 它通过统一请求中的浏览器指纹，使curl等HTTP客户端呈现出真实Chrome/Chromium浏览器的特征。
- 该工具利用Chrome调试协议(CDP)操控真实浏览器，确保TLS/HTTP/X509/TCP等JA4指纹完全一致。
- 支持混合爬取模式：对JavaScript密集型网站可结合底层HTTP客户端与浏览器请求。
- 具备缓解JavaScript指纹识别的功能，并允许设置上下文相关标头以实现隐身。
- 可通过环境变量配置代理设置、Chrome调试端口及自定义钩子程序。
- 自定义钩子支持在请求前后执行浏览器操作，适用于通过验证步骤或清理Cookie等场景。
- 项目讨论了网络爬取的伦理边界，强调开源方案在绕过指纹识别中的价值。
- 当前局限性在于依赖真实浏览器，需持续更新以匹配最新的浏览器指纹特征。