Learning Facts at Scale with Active Reading
9 months ago
- #Machine Learning
- #Natural Language Processing
- #Active Reading
- 大语言模型存储海量知识但记忆提取不可靠。
- 主动阅读框架通过自生成学习策略训练模型研读材料。
- 相比普通微调，主动阅读显著提升知识吸收效率。
- 采用主动阅读训练的8B专家模型在基准测试中表现优异。
- 维基百科专家模型Meta WikiExpert-8B在事实问答任务上超越更大规模模型。