Diffusion Beats Autoregressive in Data-Constrained Settings
10 months ago
- #diffusion-models
- #machine-learning
- #autoregressive-models
- 自回归（AR）模型长期以来主导着大语言模型领域
- 基于扩散的语言模型正成为AR模型的有力替代方案
- 在计算资源充足但数据匮乏的场景下，扩散模型的表现优于AR模型
- 掩码扩散模型通过更高效地利用重复数据，实现了更低的验证损失和更好的下游任务表现
- 扩散模型受益于多样化的标记排序和预测任务带来的隐式数据增强
- 研究发现了扩散模型的新缩放规律，并推导出扩散模型性能超越AR模型的关键计算阈值
- 当数据成为瓶颈时，扩散模型为AR模型提供了极具吸引力的替代选择