Fast and Accurate Long Text Generation with Few-Step Diffusion Language Models
8 months ago
- #Natural Language Generation
- #Machine Learning
- #Diffusion Models
- FS-DFM（少步离散流匹配）被提出用于实现快速准确的长文本生成
- 自回归语言模型(ARMs)受限于串行token生成方式，影响吞吐量和延迟
- 扩散语言模型(DLMs)可实现跨位置并行计算，但需要多步采样才能获得高质量输出
- FS-DFM在保持质量的同时大幅减少采样步数，最高可实现128倍加速
- 该模型通过跨步数一致性训练，实现减少步数而不损失生成质量
- 强教师指导和可靠更新规则确保了少步采样的稳定性和准确性
- FS-DFM仅用极少步数即可达到与传统方法相当的困惑度指标