Benchmarks Are Dead (For Us)
10 hours ago
- #Recursive Self-Improvement
- #AI Research
- #Benchmark Performance
- Poetiq的方法与主流AI不同，它侧重于自我改进的推理架构，而不是资本密集的权重更新。
- 元系统自主生成工具（代码、提示、工具、搜索策略），以在各种基准测试中实现最先进（SOTA）结果，无需人工干预。
- 关键优势包括自主生成SOTA、使用旧模型实现颠覆性性能，以及一个模型无关、持续增长的护城河，将推理与模型权重解耦。
- Poetiq在六个复杂基准测试（如ArXivMath、SciCode、Haladir）上展示了SOTA，使用了各种底层模型，通常优于像Claude Fable 5这样的新模型所保持的基准。
- 该系统启用了递归自我改进（RSI）循环，通过解决新问题、映射模型能力和跨领域转移知识来持续优化自身。
- 未来方向包括通过企业合作伙伴关系实现持续RSI、动态基准生成，并超越静态基准，演变为适应模型前沿的'活基准'。