Continuously Augmented Discrete Diffusion Model
7 months ago
- #generative modeling
- #diffusion models
- #machine learning
- 标准离散扩散模型将所有未观测状态统一映射为[MASK]标记，形成'信息空洞'。
- 连续增强离散扩散(CADD)通过在连续潜空间构建配对扩散来扩展离散状态空间。
- CADD使用带有噪声但信息丰富的潜向量表示被遮蔽标记，而非坍塌的'信息空洞'。
- CADD中的连续潜空间作为语义提示，指导每一步离散去噪过程。
- CADD实现了采样过程中模式覆盖(多样输出)与模式聚焦(精确输出)的可控权衡。
- 实验表明CADD在文本生成、图像合成和代码建模任务中优于基于遮蔽的扩散模型。