An analytic theory of creativity in convolutional diffusion models
10 months ago
- #diffusion-models
- #machine-learning
- #creativity
- 本文提出了卷积扩散模型中创造力的解析理论。
- 识别出两种能够实现组合创造力的归纳偏置：局部性和等变性。
- 引入局部评分（LS）和等变局部评分（ELS）机器以进行机制性解释。
- 在CIFAR10和CelebA等数据集上展现出高预测准确率（中位数r²约0.95）。
- 揭示了模型通过混合局部训练补丁来生成新图像的拼贴机制。
- 部分预测了自注意力UNet的输出（中位数r²约0.77），凸显注意力在语义连贯性中的作用。