- 深度学习通过端到端训练彻底改变了人工智能，但由于处理多模态分布的困难，生成模型仍然避免这种方法。
- 探索性建模（XM）通过探索模型生成与数据之间的K个候选匹配来分解训练循环，并在最佳匹配上进行训练，以承诺于模式而不是模糊它们。
- 增加探索在参数和数据之外增加了第三个预训练轴，随着规模扩大，在图像、视频和语言上的性能都得到提升。
- 探索带来的收益随规模增长：数据缩放从7%提高到36%，模型缩放从13%提高到23%；效率提升高达4.1倍FLOP、6.2倍样本和47%参数。
- XM在无引导条件下在ImageNet上实现了接近最先进的1.43 FID，并实现了端到端重建建模，在控制任务上与扩散模型匹配，推理步骤减少16-256倍。