Kimi K3 Inference self hosting study
7 hours ago
- 作者花费300美元租用GPU，测试转售Kimi K3代币是否有利可图，发现服务成本为每百万输出代币12–16美元，几乎等于15美元的市场价格。
- 所有主要提供商对K3每百万输出代币的收费均为15美元，因此价格已商品化；真正的竞争领域是输出速度和首令牌时间。
- 一台8×B300服务器在90%利用率下每月可生成约33亿输出代币，收入约5万美元，但在4.1万美元GPU成本后毛利仅约8千美元；盈亏平衡需要约75%的利用率。
- 3–6秒的首令牌延迟是由CPU端的令牌化和API开销引起的，而非GPU，GPU仅占等待时间的2–6%。
- 两个潜在的优化——更快的令牌器和DSpark推测解码——可以将成本降至每百万6–8美元，并将TTFT降至约1.5秒，使15美元的价格可行。
- 除非拥有专业的服务栈，否则转售自托管开源模型的代币是一个陷阱；自托管仅适用于控制、隐私或高利用率内部流量。