Explorative modeling: Train on the best of K guesses7 hours agohttps://alexiglad.github.io/blog/2026/explorative_modeling/探索性建模（XM）通过引入探索（K次猜测）来解决多答案问题，修改训练目标，使得只有最佳匹配进行训练。XM作为与参数和数据并列的第三个预训练轴，单调地改进现有的图像、视频和语言生成模型，且随着规模扩大增益增加。XM实现了6.2倍的样本效率、4.1倍的FLOP效率和47%更好的参数效率，并支持端到端生成，匹配扩散模型，但推理计算量减少多达256倍。引入了生成表达能力（模型能捕获的不同答案数量）的概念，并证明可通过探索进行扩展，直接影响性能。更多...