What CI looks like at a 100-person team (PostHog)
2 months ago
- #AI
- #FlakyTests
- #CI/CD
- PostHog的CI系统在一周内运行了575,894个任务，处理了11.8亿条日志，并执行了3300万次测试。
- Mendral是一个AI代理，专门用于诊断CI故障、隔离不稳定的测试，并通过PR提交修复方案。
- PostHog的CI基础设施每天处理合并到主分支的65次提交和105个PR测试。
- 在规模化场景下，即使99.98%的通过率也会因海量测试执行产生显著噪音。
- Mendral能大规模处理日志，检测追踪不稳定测试，提交修复PR，并像团队成员一样在Slack上协作。
- 不稳定的测试很少是随机的，其根本原因通常是确定性的，如时序依赖或共享状态问题。
- 路由问题（确定故障通知对象）与诊断故障本身同等重要。
- 在PostHog这样的公开代码库工作，确保了Mendral行为的透明度和可问责性。
- AI编程工具增加了代码变更频率，使得大多数团队的CI挑战日益增长。
- PostHog工程团队展现了高效运作的典范：运行22,477项测试仍保持99.98%通过率。