LLM Daydreaming
10 months ago
- #AI Innovation
- #Machine Learning
- #Cognitive Science
- 大语言模型缺乏人类思维的基本特征，例如持续学习和用于后台处理的'默认模式'。
- 提出'白日梦循环'(DDL)机制，通过持续采样和关联概念来模拟人类自发性洞察。
- DDL包含探索概念间联系的生成模型，以及筛选有价值想法的评判模型，形成反馈循环。
- '白日梦税'指该过程需要消耗大量算力成本，但这可能是创新的必要代价。
- 战略意义：昂贵的人工智能白日梦可生成专有训练数据，供高效模型使用，突破'数据墙'限制。
- 人类研究者得益于持续思考和后台处理能力，这是当前大语言模型所欠缺的。
- 人脑默认模式网络与自发性思维和创造力相关，大语言模型尚无此特性。
- DDL灵感源自睡眠-觉醒算法和默认模式网络，旨在让大语言模型获得类似创造力。
- 潜在障碍包括DDL的高昂成本，以及如何优化流程以获得有用洞察的挑战。
- 这意味着可能只有专业用户或研究者愿意为新颖见解支付'白日梦税'。