When Is NVLink Worth It?
6 hours ago
- 在RTX 3090上使用两块GPU测试了NVLink用于AI工作负载，包括推理和训练。
- 使用NVLink的初步测试显示，在张量并行提示处理（提升约30%）和FSDP训练（提升约3倍）方面有优势，但层分割、令牌生成和DDP训练未受影响。
- 非NVLink测试最初使用了NCCL_P2P_DISABLE，这迫使GPU使用共享主机内存（SHM）而非PCIe点对点，导致结果偏差。
- 在拔掉NVLink并应用第三方驱动补丁以在消费级GPU上启用真正的点对点（P2P）后，对于拥有完整x16插槽的作者服务器平台，NVLink与PCIe P2P之间的差异基本消失。
- 在PCIe通道有限的消费级平台（例如x8/x8或x4）上，NVLink提供了显著优势，因为它绕过了插槽限制，无论PCIe配置如何都能保持全带宽。
- 如果你在拥有多块GPU的消费级平台上，使用类似FSDP训练或张量并行提示处理的工作负载，且无法应用非官方的仅限Linux的P2P驱动补丁，那么NVLink值得考虑。