Why models write slop: the environments are too small
2 days ago
- 数据扩展远远落后于计算扩展，因为生成高质量数据仍然是一项困难且需要专门定制的工作。
- Anthropic 的优势在于专注于编程模型，这使其能够从付费用户那里收集大量标记数据。
- 编程是一个关键领域，但实现递归自我改进（RSI）需要的不仅仅是代码数据。
- 实验室试图规模化数据生成，但与工业规模的计算相比，它仍然是一个手工作坊式的产业。
- 模型产生垃圾输出，是因为它们的训练环境太小，未能教会它们品味和长期规划等关键能力。
- 游戏（如《异星工厂》《文明》）提供了丰富的环境，可以让模型通过试错来发展缺失的技能，可能解锁RSI。
- 最终目标是创建能够协作解决重大挑战的自我维持的AI代理。