The Inference Economy: Why demand matters more than supply
6 months ago
- #AI
- #LLM
- #Token Economics
- 推理经济正经历由使用量增加和每次请求消耗更多token驱动的需求变化
- LLM输出质量提升需要更多token，因为应用会使用LLM进行数据预处理、结果重排和相关性分析
- token消耗的中位数和p99值正在快速攀升，导致成本上升，且这一趋势尚无逆转迹象
- 管理token需求的策略包括：为任务选择合适规模的模型、灵活选择供应商、避免使用不必要的推理模型
- 尽管近期备受关注，但微调和训练后优化对降低token成本的解决方案往往复杂且不总是可行
- 企业应双管齐下：在AI应用成熟并展现明确投资回报率时，既要降低成本又要善用潜在定价权