The wall confronting large language models
8 months ago
- #Scaling Laws
- #Large Language Models
- #Artificial Intelligence
- 规模定律限制了大语言模型（LLMs）提升预测不确定性的能力
- 由于固有局限，将LLM可靠性提升至科学标准是不可行的
- LLMs的学习能力源于从高斯输入生成非高斯输出，这可能导致误差累积和AI行为退化
- 学习能力与准确性之间的张力导致缩放成分值偏低
- 正如Calude和Longo所指出的，大规模数据集中的伪相关使问题进一步恶化
- 要避免AI退化路径，需优先关注对问题结构的洞见与理解