The Economics of Open-Weight Inference
4 hours ago
- 开放权重模型可能比闭源模型更便宜，最便宜的约为同类闭源模型的五分之一，但并非在所有评分阈值下都如此。
- 在某些工作负载下，在A100等较旧GPU上自托管开放权重模型可能比在H100等较新GPU上更具成本效益。
- A100的五年租赁价格保留了一个月价格的80%，这表明较旧GPU的盈利能力可持续超过十年。
- 长时间运行、对延迟容忍的工作负载（如智能体、批量评估）可以路由到成本效益更高的旧硬件上。
- 新一代GPU不会自动使旧GPU过时；经济实用性取决于工作负载的适用性和成本。
- 尽管供应增加，A100的占用率从74%升至90%，但开放权重需求的作用尚未明确确定。
- 远期期限价格标记是分析师的估计，并非可执行报价；占用率数据来自跟踪的提供商，而非整个安装基础。
- 开放权重的可移植性允许将模型部署在各种硬件上，从而在软件和许可允许的情况下使用较旧的GPU。