The Era of Exploration
10 months ago
- #AI
- #Machine Learning
- #Exploration
- 大型语言模型（LLMs）建立在数十年免费获取的网络文本基础上，但由于消耗速度过快，高质量英文语料可能在本十年末耗尽。
- '经验时代'即将来临，AI发展将依赖模型自主生成数据，关键在于获取对学习有益的正确经验类型。
- AI领域的探索对收集多样化、信息丰富的数据至关重要，这比单纯增加模型参数更为重要。
- 预训练相当于'探索税'，为模型提供丰富的采样分布，小型模型可通过蒸馏过程继承这种优势。
- 有效的强化学习（RL）需要覆盖率——在探索阶段生成足够多的优质轨迹来强化学习效果。
- AI的泛化能力（尤其是LLMs）取决于数据多样性，而探索策略通过改变数据收集方式直接影响这一特性。
- AI探索包含两个维度：世界采样（决定学习场域）和路径采样（决定在特定场域内的数据收集方式）。
- 合理分配世界采样与路径采样的资源对避免过拟合、实现每浮点运算的最大信息量至关重要。
- 未来AI突破可能取决于探索能力的扩展，包括改进世界采样和更智能的路径采样，从而更高效地利用计算资源。