Alibaba Cloud claims to reduce Nvidia GPU use by 82%
7 months ago
- #AI
- #GPU Optimization
- #Cloud Computing
- 阿里云新系统Aegaeon将英伟达GPU使用量降低82%
- Aegaeon在阿里云模型市场测试中，所需GPU从1192个缩减至213个
- 该系统可更高效服务数十个大语言模型(LLM)
- 研究人员指出并发LLM工作负载存在过高成本问题
- 多数GPU利用率不足，17.7%的GPU仅处理1.35%的请求
- 全球正通过集中GPU算力池提升效率