The Appeal and Reality of Recycling LoRAs with Adaptive Merging
5 hours ago
- #Adaptive Merging
- #Machine Learning
- #LoRA
- 论文探讨了通过自适应合并LoRA模块来提升机器学习任务性能的方法。
- 研究基于Hugging Face Hub等开源平台回收用户贡献的LoRA模块，使用了近1,000个从Llama 3.1 8B-Instruct训练的LoRA模型。
- 结果表明自适应合并相比基础模型能提升性能，但与相同数据上训练新LoRA相比优势有限。
- 研究发现选择合并的LoRA类型影响甚微，甚至随机初始化的LoRA也能达到类似效果。
- 这意味着自适应合并可能通过正则化机制而非正向跨任务迁移发挥作用。
- 当资源池中存在高度相关的LoRA时，研究确认了正向迁移效应的存在。
- 论文公开了模型检查点和代码以促进后续研究。