How Google Sees Your Site
2 days ago
- 本文使用HAProxy日志分析Google机器人流量，重点通过IP地址、用户代理和JA4 TLS指纹识别已知及未记录的Google机器人。
- Google承认部分机器人无视robots.txt规则；作者利用ASN查询和JA4哈希区分官方Google流量与冒充者，特别是来自GCP的流量。
- 只有0.4%的总网站流量来自Google官方ASN（15169），而GCP流量（3.09%）可能包含客户运营的机器人，表明Google机器人流量得到有效控制。
- 发现了大量Google机器人，包括已知的Googlebot、GoogleOther以及未记录的如 'Google'（裸UA）和 'Chrome Privacy Preserving Prefetch Proxy'，部分可能用于AI训练。
- JA4哈希有助于归类可疑流量，例如一个漏洞扫描器（abuse.xmco.fr）从Google LLC的IP地址出现，以及单个JA4指纹对应多种Chrome用户代理，表明Google在不同浏览器版本间测试页面行为。
- 完全屏蔽Google很困难，但可针对特定JA4指纹（如t13d181300_...）限制某些机器人，而不会失去搜索引擎访问权限。