amd gpu

GLM5.2 on AMD MI355X at 2626 tok/s/node at over 2x lower cost than Blackwell

a month ago

AMD MI355X GPU相比NVIDIA Blackwell B300显著降低了单GPU成本（约便宜2.75倍），为AI推理提供了经济高效的解决方案。
Wafer在AMD MI355X上以2.4 RPS的请求速率运行GLM5.2模型，实现了2626 tok/s/节点的聚合吞吐量，以超过2倍的成本优势达到B200性能的80%，且单流解码速度为213 tok/s。
优化措施包括使用AMD Quark将GLM-5.2量化为无损MXFP4格式、采用sglang作为推理框架、修复推测解码问题，并通过调优MoE内核来提升预填充性能。
AMD在尖端模型的初期支持和软件适配方面仍面临挑战，但随着内核与模型优化的进步，性能差距正在缩小，降低了对定制内核的依赖。