Three types of LLM workloads and how to serve them
4 months ago
- #inference
- #workloads
- #LLM
- LLM工作负载分为三种类型：离线（批处理模式、高吞吐量）、在线（流模式、低延迟）和半在线（突发性、灵活基础设施）
- 离线工作负载优先考虑单位成本的吞吐量，利用GPU和混合批处理提高效率，推荐使用vLLM框架
- 在线工作负载需要低延迟，面临主机开销和内存带宽限制等挑战，推荐采用带推测解码的SGLang方案
- 半在线工作负载需要弹性扩展能力应对需求波动，解决方案包括多租户架构和GPU内存快照技术以减少冷启动
- 未来趋势包括：更多面向速度的有损优化、针对在线负载的专用硬件发展，以及长周期运行的智能体应用兴起