RTK reports token savings, but our cost benchmarks disagree
4 days ago
- RTK压缩终端输出但不保证节省成本；结果可能无节省甚至增加成本。
- Terminal-Bench 2.1的基准测试显示成本变化极小：Fable节省了5%，而DeepSeek增加了5%的成本，通过率略有下降。
- 'rtk增益'指标统计的是移除的字节数，而非实际的令牌节省，可能误导性地表明成本降低。
- RTK的bug（例如不支持的标志）可能导致代理循环，显著增加轮次和成本。
- 终端输出只占总令牌的一小部分；模型已使用高效命令，限制了RTK的影响。
- RTK带来的额外代理轮次通常超过压缩节省，使其成为小众优化手段而非通用成本节约工具。