Diagnosing a Linux Performance Regression
8 months ago
- #Linux
- #Performance
- #Kubernetes
- Automattic使用Kubernetes运行WordPress VIP应用，并通过防火墙规则保障安全性。
- Linux内核ipset模块的性能退化导致操作速度下降高达1000倍。
- 原本只需2秒的监控脚本因缓慢的iptables-save操作延长至超过1分钟。
- 问题根源在于获取ipset信息的getsockopt调用耗时显著增加。
- Kubernetes和kube-router利用ipset实施网络策略管理，每个节点需维护超6000个集合。
- kube-router防火墙更新的关键操作——ipset交换(swap)被确认为性能瓶颈。
- 某次内核更新引入退化问题，使ip_set_swap操作从微秒级延迟恶化至毫秒级。
- 问题经Linux内核邮件列表报告后迅速修复，相关补丁已快速发布。