The true cost of saying "Hi" to an AI agent
2 days ago
- #AI Cost Analysis
- #Prompt Efficiency
- #Agent Benchmarking
- AI代理在处理‘Hi’这样简单的问候语时常常会过度思考，尽管令牌消耗低，但时间成本很高。
- 对14种模型的基准测试显示，等待时间（而非令牌定价）才是真正的开销；等待成本可能超过令牌成本的20倍。
- 有些模型（例如Sonnet）对‘Hi’的回应会触发过多的工具调用，包括审计代码库和进行未经请求的提交。
- 当遇到模糊提示时会出现失败率；像Haiku和MiniMax这样的模型在多次收到问候时都未能成功运行。
- 明确的任务（例如‘提交’）能被所有模型高效处理，这突显了模糊性会推高成本。
- 交互的总成本结合了API费用和基于薪资的等待时间，使得延迟成为一个关键因素。
- 优化建议：在提示中直接表达意图，避免不必要的延迟，因为模糊性会显著增加成本。
- 基准测试使用了OpenRouter进行了210次试验，强调了需要更快速、更便宜的模型来降低总体成本。