OpenAI has a LOT of work to do if they think Luna can compete with Jev
4 hours ago
- OpenAI 在 DevDay 上宣布的 Decisions API 从列表中选择一个答案，支持基于决策的软件分支。
- 该 API 运行在 GPT-6 Luna 的专用版本上，这是一种低成本模型，决策速度为 150 毫秒。
- 当 Luna 声称 99% 的置信度时，其实际准确率仅为 68%，显示出明显的过度自信。
- Luna 的准确率在链式推理中急剧下降：从深度为零时的 93% 下降到五次推理时的 45%，而 Jev 则为 89%。
- Luna 的置信度校准较差，预期校准误差为 0.32，使得阈值不可靠。
- Luna 的对数概率并非隐藏，而是表明过度自信，而非保密是主要问题。
- Decisions API 可能提供置信度分数，但用户应在信任之前针对实际任务难度进行测试。