Not everything should cost a token: the case for deterministic AI
6 days ago
- #AI Efficiency
- #Cost Optimization
- #Deterministic Tasks
- 将AI用于数据格式化这类确定性任务，与简单的脚本相比效率低下、成本高昂且容易出错。
- 对于一次性任务，提示法速度很快，但用于重复性工作时会变得昂贵且不确定性高，导致高昂的token成本和上下文膨胀。
- 应将任务分类为概率性（需要判断）的任务交由AI智能体处理，或确定性（精确且可重复）的任务交由应用处理，以优化成本和性能。
- 避免将AI记忆笔记用作结构化数据的数据库；相反，对于结构化的大容量数据应使用真实数据库，对于非结构化的解释性上下文则使用笔记。
- Vybe的架构将用于推理的AI智能体与处理确定性任务的应用相集成，从而减少了token使用并提高了效率。
- 大多数工具缺乏推理智能体和确定性应用的双层结构，迫使所有任务都通过基于token的模型处理，从而增加了成本。
- 检查清单有助于识别不应token化的任务，例如计划任务、API调用或结构化数据存储。
- 目标是将AI智能仅应用于能增加价值的领域，对其他任务使用确定性代码，以最大限度地减少支出并提高可靠性。