Universal pre-training by iterated random computationa year ago#Machine Learning#Pre-training#Algorithmic Complexityhttps://arxiv.org/abs/2506.20057Copy Link探索利用随机生成数据进行模型预训练基于算法复杂度和Solomonoff归纳的理论论证实验证据表明合成数据预训练可实现零样本学习模型规模扩大时性能提升，并可迁移至真实数据预训练后进行微调可提升收敛性和泛化能力