Hasty Briefsbeta

#llm serving

共 2 篇

双语

Ollama vs. Llama.cpp – Quick Benchmark
9 days ago
- 在Tesla V100 GPU上使用Qwen3 8B Q4_K_M GGUF格式模型对Ollama和llama-server进行基准测试。
- 生成速度近乎相同：llama-server为111.00 tok/s，Ollama为110.61 tok/s。
- llama-server的提示词处理速度更快：1255.29 tok/s，而Ollama为1028.02 tok/s。
- Ollama启用了提示词缓存，若未通过卸载模型禁用该功能，可能使测试结果偏高。
- 基准测试存在局限：提示词较短（60个词元）、仅测试单一模型/GPU、未涉及并发请求。
- 对于长提示词场景推荐使用llama-server；Ollama在生成速度方面表现相当。
- 虽建议将vLLM作为备选方案，但其不支持V100显卡的Volta架构。
In-House LLM Serving at Netflix
2 days ago
- Netflix 使用 vLLM 和 Triton 构建了内部 LLM 服务平台，并集成到现有生产基础设施中。
- 关键决策包括选择 vLLM 作为引擎以实现可扩展性和可调试性，并在 Triton 中使用 vLLM 后端进行模型打包，以解耦前端升级。
- 该系统支持兼容 OpenAI 的 HTTP 前端和 gRPC 以确保生态系统兼容性，并采用红黑或版本化部署策略实现零停机发布。
- 已解决的运维挑战包括通过模型缓存优化启动序列、统一指标端点，以及使用 vLLM V1 扩展受限解码以克服 CPU 瓶颈。
- 未来的投入将集中在系统提示压缩、异步调度、向量化对数处理器和低精度模型上，以提升性能和效率。

首页上一页0下一页