Entropic Thoughts
16 hours ago
- METR 研究表明，LLM 通过测试的次数多于生成可合并代码的次数，采用更严格的成功标准（维护者批准）后，性能显著降低。
- 使用更严格的标准时，50% 的成功时间窗口从 50 分钟缩短至 8 分钟。
- 对随时间变化的合并率的分析表明，自 2025 年初以来未出现显著改善，尽管 2024 年底可能有一次跃升。
- Brier 评分比较显示，分段常数或常数函数比平缓上升斜率能更好预测合并率，这与持续改进的说法相矛盾。
- 作者质疑炒作与现实表现之间的差距，并指出 2025 年类似的进步说法未得到数据证实。