Tiny-diffusion: A minimal implementation of probabilistic diffusion models
a year ago
- #PyTorch
- #Diffusion Models
- #Machine Learning
- 2D数据集概率扩散模型的极简PyTorch实现
- 二维点数据集上前向扩散过程的可视化
- 逆向过程图示展示训练数据分布的恢复
- 学习率、模型规模等超参数的消融实验
- 学习过程对学习率的敏感性分析
- 模型配置在线性数据集上表现欠佳，生成模糊拐角
- 更长的扩散过程产生更优输出
- 二次调度方案未显优势，建议尝试余弦或S型曲线
- 隐藏层大小和深度实验中，模型容量未成瓶颈
- 时间步信息对模型有益，编码方式影响较小
- 正弦嵌入有助于学习高频函数
- 参考文献包含Datasaurus Dozen、HuggingFace的diffusers库等