Pre-Training Large Memory Language Models with Internal and External Knowledge
9 months ago
- #Language Models
- #Knowledge Representation
- #Machine Learning
- 提出大型记忆语言模型（LMLM），将知识同时存储于内部权重和外部数据库
- 通过策略性遮蔽外部检索事实，鼓励针对性查询而非机械记忆
- 在保持与更大模型竞争性能的同时，提供可编辑可验证的知识库
- 标志着语言模型管理事实知识方式的范式转变