Eggroll: Novel general-purpose machine learning algorithm provides 100x speed
6 months ago
- #large language models
- #evolution strategies
- #machine learning
- EGGROLL是一种新颖的进化策略（ES）算法，专为大规模神经网络训练而设计。
- 它采用低秩矩阵扰动技术，显著降低了计算和内存开销。
- 与原始ES相比，EGGROLL在十亿参数模型训练上实现了百倍速度提升。
- 该算法支持纯整数数据类型模型的高效训练，并能处理无激活函数的非线性RNN。
- 在提升大语言模型推理能力方面，EGGROLL与GRPO性能相当，并能稳定预训练新型架构。
- 这种通用方法可优化任何定义了适应度函数的推理系统。
- 实验结果表明EGGROLL在GSM8K数学推理和倒计时任务等预训练/微调场景中表现优异。
- 未来工作将探索用EGGROLL优化神经符号系统和多智能体大语言模型。