Show HN: Jevstiller – Distill Jev into a local model, with a disagreement bound
6 hours ago
- Jevstiller训练一个轻量级本地模型（在冻结的句子编码器上的线性层）来模拟更大的模型Jev，并带有合同保证，确保至少在指定百分比的请求（例如98%）上与Jev一致。
- 路由器使用置信度阈值和OOD检测来决定是本地回答（CPU上约15毫秒）还是回退到Jev（约300毫秒），并通过统计学上严格的界限（Clopper-Pearson和固定序列测试）进行校准，该界限以95%的概率成立。
- 简单的点估计阈值常因校准数据中的噪声而超出2%的不一致预算；Jevstiller的界限方法以牺牲4-8%的覆盖率为代价，提供了可靠的保证。
- 该系统还尊重Jev的不确定性：如果Jev不确定（低于置信度下限），本地答案将被视为不一致，确保同一预算同时覆盖标签不匹配和不确定性标记。
- 一个永久的审计流（占流量的2%）监控实时一致性，检测漂移，并触发自动重新训练——例如，在一小时内从教师模型变更中恢复。