Compressor V2: three compression layers for a 50% LLM agent cost cut
7 days ago
- #Token Compression
- #Coding Agents
- #Edgee Compressor V2
- 由于经济压力和操作瓶颈（如美元成本、延迟、上下文窗口限制和吞吐量），代币压缩对编码代理至关重要。
- Edgee的Compressor V2包含三种正交策略：简洁性（减少输出代币）、针对MCP工具目录的工具表面减少（TSR），以及针对冗长工具输出的工具结果修剪。
- 使用配对符号检验、自举置信区间和变异系数进行的统计分析显示显著节省：简洁性在SWE-bench Lite上实现约30%的成本降低，TSR减少约33%的代币，工具结果修剪额外增加5-10%的节省。
- 简洁性通过消除输出中的元文本、保留缓存摊销，以及针对最昂贵的代币类别（无需更改前缀）来实现。
- TSR将工具目录重写为单个虚拟工具，减少前缀膨胀和代币量，特别适用于工具密集型工作负载。
- 这三种策略可组合且针对不同层级（输出、前缀、历史记录），允许用户根据工作负载形态按API密钥启用不同组合。