Backslash: Rate Constrained Optimized Training of Large Language Models
a year ago
- #Model Compression
- #Machine Learning
- #Large Language Models
- 提出Rate-Constrained Training（反斜杠训练法）——一种面向大语言模型训练阶段的新型压缩方法
- 基于率失真优化理论（RDO），实现模型精度与复杂度的灵活权衡
- 在保持精度前提下降低60%-90%内存占用，性能超越训练后压缩方案
- 通过小拉格朗日乘数增强泛化能力，模型对剪枝的鲁棒性显著提升（最高支持80%剪枝率）
- 简化网络结构以加速边缘设备推理