2 months ago
- 到2025年，大多数AI研究者已不再声称LLM是随机鹦鹉，因为积累了越来越多的功能性证据。
- 思维链（CoT）通过内部采样和强化学习优化令牌序列，提升了LLM的输出质量。
- 基于可验证奖励的强化学习克服了令牌数量的扩展限制，并具备持续改进的潜力。
- 随着LLM提供有用代码和提示，且投资回报率可接受，程序员对AI辅助编码的抵触情绪有所降低。
- 一些研究者正在探索替代Transformer的方案，但LLM仍可能在无需新范式的情况下达到AGI。
- 批评者如今将CoT视为从根本上改变LLM的行为是误导性的；架构和令牌预测机制并未改变。
- ARC-AGI测试已能被结合广泛CoT的LLM解决，从反LLM测试转变为验证性测试。
- 未来20年AI面临的根本挑战是避免灭绝。