A GPU-Hour Isn't a Commodity If You Need Four of Them
7 hours ago
- GPU租金标价（如H200每小时3.93美元）掩盖了多GPU集群的稀缺性；请求4块相同GPU会使可用供应减半并使价格上涨4%，而8块GPU则无法获得。
- 训练和推理等实际工作负载需要位置相邻、相同且具有适当互连的GPU，而非分散的GPU计算小时；供应在价格飙升前就已消失，导致无交易发生。
- 计算资源通过配置和可用性而非价格配给；大型集群往往在任何价格下都不可用，这推动了对双边容量协议的依赖。
- 基于通用GPU小时基准的首批计算期货可对冲价格风险，但无法解决集群可用性问题，从而产生基差风险；期货市场可能需要基于拓扑结构的合约来明确集群规模与互连方式。
- 来自Vast.ai的A100、H100、H200、B200、L40S数据显示，较大集群的供应更为稀缺；例如，B200无四个GPU的报价，H200无八个GPU的报价，而A100的八个GPU报价溢价达114%。
- 注意事项：样本来自单一市场，基于广告报价而非实际交易，小集群估算仅依赖少量机器，但可用性模式在不同可靠性阈值下保持稳健。