Nobody likes lag: How to make low-latency dev sandboxes
4 months ago
- #performance
- #cloud-dev
- #latency
- 开发者期望在终端或编辑器中输入时能获得即时响应
- 初始架构启动时间过长（10-30秒）且延迟高（>200ms）
- 安全方面可接受，因代理节点未暴露在公网
- 通过实现热池机制将启动时间从30秒降至50毫秒
- 去除中间层，让客户端直连机器，显著改善延迟
- 采用JWT进行授权，将计费/持久化职责转移至LLM路由层
- 引入fly.io的fly replay技术实现高效请求路由
- 扩展为多区域资源池，进一步降低延迟（平均14ms）
- 最终架构通过精简非必要基础设施，实现更简洁高效的性能表现