Cache Merging as a Convergent Replicated State for Multi-Agent Latent Reasoning
9 days ago
- #cache merging
- #latent reasoning
- #multi-agent systems
- 先前的工作（Agent Primitives）通过BagMerge连接KV缓存以实现多智能体潜在推理，该方法不具备交换律，且依赖不可预测的输入顺序。
- CanonicalMerge通过在中层按平均K范数对缓存排序，确保在任何输入排列下合并缓存字节一致，从而使交换成为收敛的复制状态。
- 复制状态与解码时布局分离，采用内容寻址潜在片段和集合并作为基于状态的CvRDT，其中CanonicalMerge是其确定性渲染。
- CanonicalMerge在不同机制和预算下无需先验知识即可匹配最佳BagMerge排序，以最小精度损失换取结构保证。
- 在多文档问答（HotpotQA）中，CanonicalMerge在相同预算下以45个百分点的优势超越输出融合基线PackLLM，表明缓存级合并与输出级融合有本质区别。