An Update on the scraper situation
2 days ago
- #AI scraping
- #web security
- #residential proxies
- AI机器人网络通过住宅代理进行的爬虫攻击正在压垮网站，利用数百万台通常未被主人知晓的受感染设备制造过量流量。
- 像Bright Data等公司提供'道德'住宅代理网络，利用免费VPN或SDK将用户设备变为爬虫终端。
- 这种爬取行为被认为是由训练AI模型的数据需求增长所驱动，推动方包括企业和政府机构等多种实体。
- 网站正在实施防御措施，如Anubis工作量证明系统、验证码、付费墙和登录关卡，以减轻爬虫影响。
- LWN已采用网站优化和选择性访问控制来保护其网站，同时尽量减少对合法用户和搜索引擎的干扰。
- 近期对IPIDEA和NetNut等网络的取缔暂时减少了攻击，但问题依然存在，表明需要更持久的解决方案。
- 人们担心持续的爬虫行为威胁开放互联网，可能迫使更多内容进入限制性屏障之后，损害其创新潜力。