Compaction can save 50% due to cache-read cost
11 hours ago
- #Agent Traces Compaction
- #AI Cost Optimization
- #Long-Context Agents
- 人工智能成本不断上升，导致企业开始以每日配额取代令牌排行榜，并寻求成本降低策略。
- 通过用户闲置期后压缩代理追踪，能节省高达50%的编码工作量，使用运行速度超50k tok/s的模型，且不影响用户体验。
- 在长期对话中，输入令牌（非输出令牌）因缓存读取和重写占据成本主导地位，成本随会话长度呈二次增长。
- 缓存未命中时压缩，将缓存读取成本从二次降至线性，并最小化重写大型缓存的费用。
- 传统压缩方法速度过慢（1-2分钟），但Relace Compact能以超过50k tok/s运行，快速且对用户无感知。
- API令牌定价包含缓存写入、缓存读取及输出令牌，其中缓存读取在长上下文环境中成为主导因素。
- 缓存数据过期（TTL）时会发生重写，带来显著成本，特别是在闲置会话中。
- 压缩在缓存未命中时最为有效，能减少昂贵缓存写入的规模并避免额外延迟。
- Relace Compact是一种快速、专用于令牌级分类的模型，已集成至Jacq并提供API接口，估计可节省超过56%的成本。
- 结论：缓存未命中时的压缩解决了输入令牌带来的二次成本增长，Relace Compact实现了高效、无延迟的部署，带来大幅成本削减。