ARC-AGI Leaderboard2 months agohttps://arcprize.org/leaderboardARC-AGI-3 衡量AI代理在新型交互环境中即时适应的能力，这是从早期被动流体智力测试演变而来的。排行榜散点图展示了每项任务的成本与性能之间的关系，强调效率作为智力的关键衡量标准。图中绘制了三类数据：推理系统趋势线（显示推理时间的影响）、基础大语言模型（单次推理）以及Kaggle系统（严格成本限制下的竞赛级提交）。仅显示运行成本低于10,000美元的系统；不完整的测试输出被视为错误，预览结果非官方。
Schema Harness Achieves ~99% on Arc‑AGI‑3 Public2 months agohttps://schema-harness.github.io/模式框架通过将潜在世界表征视为可执行程序，使前沿模型在ARC-AGI-3公开集上达到约99%的性能，实现可解释、可验证且可搜索的建模。ARC-AGI-3挑战智能体从64x64彩色网格中推断游戏规则、对象和目标，无需明确指令，并使用相对人类行动效率（RHAE）指标进行评估。该方法结合状态基础（从观察中识别对象和变量）与机制发现（学习转换规则），在可编辑程序中联合求解，模仿类似物理学家的推理过程。受控比较显示，模式框架将Claude Code基线性能提升56.15%，其效率增益源于基于完整历史验证模型、在可复用模拟器内规划，从而显著减少行动次数。案例研究表明，Fable模型通过更优的实验决策、表征修订及更早识别关键机制，比Opus更高效地发现世界模型。该框架通过持久化和可搜索性降低理论使用成本，而底层模型影响发现效率；搜索完整性取决于世界模型的准确性。公开集上的自报结果（Claude 98.98%、Sol 95.35%）显示进展但缺乏独立验证；向半私有集性能的推演仍不确定。