GLM5.2 on AMD MI355X at 2626 tok/s/node at over 2x lower cost than Blackwell
9 days ago
- #AMD GPU
- #AI Inference
- #Cost Efficiency
- AMD MI355X GPU相比NVIDIA Blackwell B300显著降低了单GPU成本（约便宜2.75倍），为AI推理提供了经济高效的解决方案。
- Wafer在AMD MI355X上以2.4 RPS的请求速率运行GLM5.2模型，实现了2626 tok/s/节点的聚合吞吐量，以超过2倍的成本优势达到B200性能的80%，且单流解码速度为213 tok/s。
- 优化措施包括使用AMD Quark将GLM-5.2量化为无损MXFP4格式、采用sglang作为推理框架、修复推测解码问题，并通过调优MoE内核来提升预填充性能。
- AMD在尖端模型的初期支持和软件适配方面仍面临挑战，但随着内核与模型优化的进步，性能差距正在缩小，降低了对定制内核的依赖。
- 研究强调，在AMD平台上实现尖端性能日益取决于支持力度与优化水平，而非固有的软件限制，这标志着NVIDIA的CUDA优势正在逐渐消解。