Teaching large language models how to absorb new knowledge
6 months ago
- #Machine Learning
- #Self-Adapting Models
- #Artificial Intelligence
- 麻省理工学院研究人员开发了一种名为SEAL（自适应性大语言模型）的方法，使大语言模型能够永久更新其内部知识。
- SEAL允许大语言模型从用户输入生成合成数据（自我编辑），类似于学生制作学习笔记，然后确定从这些数据中学习的最佳方式。
- 该模型使用强化学习来测试和选择最有效的自我编辑，提高了问答和模式识别等任务的准确性。
- SEAL在基准测试中表现优异，在问答任务中准确率提升近15%，在某些技能学习任务中提升超过50%。
- 一个局限性是存在灾难性遗忘现象，即模型在适应新信息时，对早期任务的性能会下降。
- 未来工作包括减轻灾难性遗忘，并将SEAL应用于多智能体场景，让大语言模型相互训练。
- 该研究旨在通过使大语言模型在动态环境中持续自我改进，使其更具类人性。