Tokenflation: When "Hi" triggers 33 tool calls
5 hours ago
- Tokenflation 描述了编码代理对诸如回复'Hi'之类的简单任务过度使用令牌（上下文、推理、工具调用）的现象，这可能会触发多达33次工具调用和显著的等待时间。
- Tokenflation 的真正成本不仅仅是API令牌费用（通常低于0.01美元），而是等待时间，根据12万美元年薪计算，每秒价值约0.016美元，使得对Sonnet等模型上回复'Hi'的总成本高达0.84美元。
- 在14个模型的基准测试中，模糊提示（'WTF'或'Hi'）比明确任务（'commit'）导致更多的工具调用、超时和失败，等待时间使API成本相形见绌（例如，某些模型账单的99%）。
- 实验室专注于排行榜指标如SWE-bench，忽略了日常任务的效率，而供应商的按令牌计费为更多探索创造了不正当激励，导致实际使用中的tokenflation。