The mean means nothing: data visualization to debug a latency problem
12 hours ago
- 基准测试中的性能提升可能无法反映实际生产环境，因为指标存在噪声。
- 多种统计量（均值、中位数、p95、p99）可能对同一数据变化讲述相互矛盾的故事。
- 累积分布函数（CDF）可视化整体分布，揭示偏移和交叉点。
- 随时间推移的灰度数据能显示聚合数据所隐藏的渐变回归模式。
- 延迟的双峰分布通常有根本原因，例如基于响应大小的缓存命中与未命中。
- 联合图可按响应大小等变量分离人群，以识别可操作的原因。
- 需要多种可视化方式才能充分理解数据，而不是依赖单一数值。