How to Make Things Slower So They Go Faster
9 months ago
- #performance optimization
- #load management
- #system design
- 同步需求发生在多个客户端同时行动时，会超出服务容量。
- 可用余量（H）是服务容量（μ）与背景负载（λ₀）之间的差值。
- 峰值负载可能导致队列、超时、重试和重大事故。
- 自然对齐源于时钟、默认设置以及部署或缓存刷新等状态转换。
- 对抗性对齐包括DDoS攻击和瞬时流量激增（闪聚）。
- 故障取决于哪个约束条件先触发，例如连接池耗尽或CPU饱和。
- 反馈循环可能加剧问题，错误引发重试进而导致更多错误。
- 缓解措施包括将操作分散在时间窗口（W）内以降低峰值负载，但会增加延迟。
- 均匀抖动是实现峰值削减和公平性的最优方案。
- 运营边界包括余量要求及并发处理的利特尔法则。
- 服务器提示（如Retry-After头）有助于管理负载。
- 预防措施涉及随机化TTL、分散任务和使用抖动退避。
- 恢复过程需通过速率控制和服务器端调控安全消化积压。
- 实施时需要预测余量并通过准入控制匹配容量。
- 验证环节需追踪峰值均值比和尾部延迟等指标。
- 常见错误包括低估需求或高估容量。
- 抖动是管理延迟并最小化过载风险的公平手段。
- 无用户等待时排队，抖动保证公平性，延迟不可接受时拒绝，可能时扩展容量。