Scaling Laws, Carefully
16 days ago
- #scaling laws
- #deep learning
- #compute optimization
- 缩放定律描述了训练损失与模型大小（N）、数据集大小（D）和计算量（C）之间的幂律关系，这对于深度学习中优化计算资源分配至关重要。
- 早期工作（例如Amari等人1992年，Hestness等人2017年）确立了幂律学习曲线，并发现架构影响偏移量但不影响指数，指数是领域特定的。
- Kaplan等人（2020年）形式化了Transformer的缩放定律，提出模型大小应比数据增长更快（N_opt ∝ C^0.73），但这一观点后来受到质疑。
- Chinchilla（Hoffmann等人2022年）发现了最优缩放关系N_opt ∝ C^0.5，主张使用更多令牌训练更小的模型，表明许多大型模型训练不足。
- Kaplan和Chinchilla之间的差异源于规模、嵌入参数计算和拟合方法的不同，后来由Pearce和Song（2024年）调和。
- 幂律可能源于数据流形维度或量化技能学习，但理论解释仍不完整。
- 在数据受限的情况下，研究（如Hernandez等人2022年，Muennighoff等人2023年）显示重复数据会损害效率，模型通过有效数据和过拟合惩罚进行调整。
- Lovelace等人（2026年）引入了基于容量比（N/U_D）和重复的过拟合惩罚项，改善了受限数据下的缩放定律拟合。
- 由于对损失精度、噪声、拟合区域以及固定架构和调优等假设的敏感性，拟合缩放定律具有挑战性，这在复制尝试中可见（Besiroglu等人2024年）。