Hasty Briefsbeta

双语

Evolution Strategies at the Hyperscale

6 months ago
  • #Machine Learning
  • #Evolution Strategies
  • #Neural Networks
  • 介绍EGGROLL——一种面向大型神经网络设计的进化策略(ES)算法
  • EGGROLL采用低秩矩阵扰动技术显著降低计算与内存开销
  • 理论分析证明EGGROLL能以较快收敛速度达到全秩更新的效果
  • 实验验证了EGGROLL在强化学习、大语言模型推理及循环语言模型预训练中的卓越表现