Jev Can't Be Calibrated
3 hours ago
- Jev 是 TypeSafe 的 System One 模型，它返回带有概率的类型化决策，而不是生成文本，在没有训练数据的情况下很有用。
- Jev 的校准声明受到质疑，因为校准取决于数据分布，而 Jev 为不同的数据集提供相同的概率。
- 有证据表明 Jev 可能产生未校准的概率，例如，对公平硬币预测 0.92，实验发现其他模型的校准更好。
- 为了获得校准的概率，用户应该使用诸如 Platt scaling 等方法在自有数据上重新校准 Jev，只需几百个带标签的示例。
- 建议将 Jev 的输出视为分数（适合排序）而非真实概率，尤其是在精确数字很重要的情况下。