DGX Station GB300 Cluster: Two 400G DACs, and Frontier Models
5 hours ago
- 两台GB300 DGX工作站（华硕和惠普）通过两根400G DAC电缆连接，实现了98%的线速率带宽（广播、归约、发送/接收均为98GB/s）和1.46微秒的RDMA延迟。
- 对于像GLM-5.2（433GB）这样的大模型，通过张量并行将其拆分到两个工作站上，在32个流中吞吐量从139个输出令牌/秒提升到1,525个（提升11倍），在256个流中达到3,141个。
- GLM-5.3显示出最高的增益：从一台工作站上的188个令牌/秒提升到两台上的5,018个（27倍），而MiniMax-M3在长提示下从8个流停滞到256个流攀升。
- 对于适配单台工作站的模型（GLM-5.3 Flash、DeepSeek V4.1 Flash），预填充/解码分离使吞吐量翻倍或三倍；DeepSeek V4.1 Flash达到了5,248个令牌/秒。
- 该集群通过NVIDIA的说明易于设置且扩展性好，使两个工作站成为无需数据中心的前沿推理GPU服务器的可行替代方案。