How accurately calibrated is Jev?
7 hours ago
- Jev 是来自 TypeSafe 的 '系统一' 分类器模型，与 LLM（系统二）形成对比，灵感来自卡尼曼的《思考，快与慢》。
- 它将一个分类器附加到预训练变压器上，返回分类任务中多个选项的概率分布。
- 在已知物理分布（高斯、麦克斯韦、均匀等）上的测试显示，Jev 的校准效果较差：平均总变差为 0.518，而均匀猜测为 0.546。
- Jev 倾向于过度尖峰，且在均匀分布上失败（TV 0.8），经常从提示中复制峰值而不是生成正确的分布。
- Jev 在大多数情况下能正确识别适当的分布（除了 Gamma/指数混淆），但无法产生准确的概率分布范围。
- Jev 的数学能力在简单操作上尚可，但在多步算术（超过两步）上显著下降，可能是由于缺乏思维链。
- 前沿模型（Opus 5.5, Astra 6）协助了实验设计，但未能捕捉到提示中无意提供答案的错误。
- 作者批评卡尼曼的书存在复制危机问题，一位评论者指出变压器随机性是可减少的，并且变压器可以作为分类器（例如视觉变压器）。