Does an open-weight decision model beat a hosted one? Jev vs. Laya
6 hours ago
- 作者部署了一个本地模型（Laya）用于编码代理中的类型化决策，取代了托管服务（Jev），以保持数据本地化并维持控制权。
- Laya使用双向编码器和决策头提供结构化输出（choice, score, noul），无需文本生成，避免了JSON解析问题。
- 系统使用资格网关在Laya处理之前过滤模型，并重新验证结果，具有回退和弃权选项。
- 在对40个路由决策的保留重放中，Laya达到了92.5%的可接受决策，而确定性路由器为82.5%，但延迟有所变化（在繁忙主机上p95从143毫秒到467毫秒）。
- 作者强调对托管API的本地控制，但在运营责任、校准和管理方面需要权衡。