SSE sucks for transporting LLM tokens
5 days ago
- #SSE
- #LLM
- #PubSub
- SSE（服务器发送事件）因其缺乏可靠性且断开后无法恢复数据流，被批评为不适合作为大语言模型（LLM）令牌的传输机制。
- SSE的关键问题在于：若连接中断，必须从头重启模型推理，导致用户体验差且成本增加。
- SSE是单向通信机制，既无法实现响应中途的转向控制，也无法明确区分意外断开与主动取消操作。
- WebSocket同样无法解决连接恢复的核心问题——重连后仍需重启模型推理。
- 文章建议采用发布/订阅模式作为更优方案，客户端可恢复令牌消费而无需重新推理，但可能增加传输成本。
- 该研究揭示了传输机制成本与用户体验质量之间的权衡——SSE虽成本低廉，但可靠性存疑。