Are OpenAI and Anthropic Really Losing Money on Inference?
a day ago
- 作者认为，AI推理并不像通常声称的那样昂贵，并以H100 GPU定价和DeepSeek R1架构为基准。
- 由于顺序解码阶段，输入处理极其便宜（每百万tokens约0.003美元），而输出生成则贵得多（每百万tokens约3美元）。
- 这种成本不对称使得高输入、低输出的用例（例如编码助手）利润丰厚，消费者计划的加价倍数为5-6倍，开发者计划高达20倍。
- 基于当前定价与实际计算成本的比较，API业务享有80-95%的毛利率。
- 作者警告不要夸大成本以阻碍竞争，并与云计算历史进行类比。