Context Language Models
4 hours ago
- 上下文语言模型 (CLMs) 通过将上下文视为可无限更新的文件，原生地管理自身的上下文。
- 零样本 CLMs 在多个任务上超越了当前最先进的上下文管理策略，准确率最高提升 11.4%，计算量最多减少 59%。
- CLMs 自然扩展到多智能体系统，其中多个智能体的上下文以文件形式共存。
- 通过技能优化循环演化的自然语言指令可以引导 CLMs，在上下文管理任务上实现高达 35.9 个百分点的准确率提升。
- 一种在线强化学习方法在不增加计算量的情况下将 CLMs 在 BrowseComp-Plus 上的性能提升 47.6%，而协同设计的后缀缓存复用将服务器端计算量减少 35%。