Researchers Found a Better Way to Teach Large Language Models New Skills
10 months ago
- #AI
- #Machine Learning
- #Natural Language Processing
- 研究人员开发了WeGeFT技术，可在不增加算力的情况下提升大语言模型性能。
- WeGeFT在常识推理、算术推理和代码生成等任务中显著增强模型表现。
- 该技术基于2022年提出的LoRA方法，通过引入数学工具识别并优先学习新型参数。
- 概念验证测试表明，WeGeFT在多项任务中均达到或超越LoRA及其变体方法的性能。
- 未来研究将探索利用WeGeFT识别有害输出，以提升AI对齐性和安全性。
- 该成果将于2024年7月在国际机器学习大会上进行展示。