Scaling Laws, Honestly
8 days ago
- #Scaling Laws
- #AI Research
- #Language Models
- Kaplan等人的原始缩放定律因一个涉及固定训练数据量和余弦衰减学习率计划的错误而不准确。
- Chinchilla缩放定律对此进行了修正，表明模型应相对于规模接受更多数据的训练，从而催生了更小、更高效的模型，如Chinchilla对比GPT-3。
- 缩放定律具有语言依赖性；Chinchilla的最佳数据-参数比特定于英语，形态更丰富的语言为实现效率所需标记更少。
- 非大型实验室的研究者应专注于探索语言相关的缩放效应，因为受控实验（例如使用法语）成本可控且能揭示显著差异。