You Don't Need Anubis
7 months ago
- #web-security
- #javascript
- #bot-protection
- LLM训练公司的爬虫程序变得更具侵略性，无视robots.txt协议并使用伪造的User Agent和IP地址
- Anubis作为一种工作量证明的机器人防护方案常被使用，但对于仅需防御LLM爬虫的用户可能并非必要
- Anubis对机器人的防御效果有限，因为多数LLM爬虫不执行JavaScript代码
- 通过要求JavaScript设置cookie的12行Caddyfile解决方案可有效拦截爬虫，且没有Anubis的缺点
- Cloudflare仍是机器人防护最可靠的解决方案，尽管存在自身局限性
- Anubis仅建议用于DDoS防护等特定场景，不推荐用于常规的LLM爬虫防御