LLM Inference Handbook
10 months ago
- #Production
- #Inference
- #LLM
- 《生产环境中的大语言模型推理》作为技术术语表、指南手册和参考工具
- 涵盖核心概念、性能指标、优化技术和运维最佳实践
- 为生产环境中部署、扩展和运营大语言模型提供实用指导
- 聚焦核心要素，避免边缘案例和技术噪音
- 包含基于使用场景的优化技术以提升性能
- 持续更新最新行业实践和经过实战检验的洞见
- 旨在整合来自各渠道的碎片化大模型推理知识
- 目标读者包括在生产环境中部署、扩展或运营大语言模型的工程师
- 既可系统阅读也可作为速查手册使用
- 开放GitHub提交issue或pull request进行贡献