Show HN: I invented a new generative model and got accepted to ICLR
7 months ago
- #ICLR 2025
- #generative models
- #machine learning
- 离散分布网络(DDN)作为一种具有层次化离散分布的新型生成模型被提出
- DDN通过生成多个离散样本点逐层细化输出，从而拟合目标分布
- DDN的独特属性包括通用零样本条件生成能力和一维潜在表示
- 实验证明DDN在CIFAR-10和FFHQ等数据集上具有显著效果
- DDN支持跨非像素域的零样本条件生成，且不依赖梯度计算
- 训练阶段显示随着网络深度增加，生成图像与训练图像的相似度逐步提升
- 分裂-剪枝策略比单独使用梯度下降能更有效降低KL散度
- 未来研究方向包括超参数调优、扩展到ImageNet规模以及将DDN应用于语言建模
- DDN的GPU内存需求略高于传统GAN，但仍在可控范围内
- DDN通过选择与真实数据最相似的输出和使用L2损失函数来避免模式崩溃