Why do LLMs have emergent properties?
a year ago
- #emergence
- #machine-learning
- #large-language-models
- 当大型语言模型（LLM）的参数规模达到特定数量级时，会突然展现出新的任务处理能力，这种现象称为涌现行为
- 涌现现象在自然界（如相变）和机器学习中都很常见（例如参数增加时回归误差突然下降）
- 在算法中，当达到关键阈值（如逻辑门数量）时，功能会突然涌现，从而解锁新的能力
- LLM将参数比特分配给众多任务；当某个特定任务分配到足够比特时，其能力会'突然'显现
- 预测LLM何时会涌现新能力极具挑战性，尤其是对创作引起共鸣的故事这类复杂且定义模糊的任务
- 由于高维优化和庞大的参数空间，LLM中出现涌现行为具有必然性，这使得新行为会随时间推移自然显现