Rethinking Losses for Diffusion Bridge Samplers
a year ago
- #Optimization
- #Machine Learning
- #Diffusion Bridges
- 扩散桥是一种用于从非归一化分布中采样的深度学习方法。
- 使用重参数化技巧时，对数方差（LV）损失优于反向Kullback-Leibler（rKL）损失。
- 对于扩散桥或学习扩散系数的情况，LV损失无法保持与rKL损失的等价性。
- 采用对数导数技巧的rKL损失（rKL-LD）避免了概念性问题，且性能优于LV损失。
- 实验结果表明，rKL-LD损失在扩散桥中能带来更好的性能。
- rKL-LD需要更少的超参数优化，并能提供更稳定的训练过程。