Fast and Accurate Long Text Generation with Few-Step Diffusion Language Models
3 months ago
- #Text Generation
- #PyTorch
- #Diffusion Models
- FS-DFM框架的PyTorch实现，用于高效文本生成和离散序列建模
- 包含用于流匹配的自定义离散求解器和师生蒸馏框架
- 支持多种求解器选项和不同源分布（均匀分布、掩码分布）
- 需要Python 3.8+、CUDA 11.0+及conda/mamba环境配置
- 提供可配置参数的训练和评估脚本
- 基于Transformer架构，可配置词表大小和dropout正则化
- 包含预训练工具和数据加载组件
- 具备将概率分布转换为流生成器的方法及安全特性
- 提供FS-DFM框架相关研究论文引用
- 基于Meta的流匹配方法，并添加了自定义离散求解器