Are my evals lying to me?
4 hours ago
- #machine-learning-evaluation
- #target-leakage
- #ai-safety
- 2021年，一项对Epic脓毒症模型的评估显示，该模型在现实使用中性能大幅下滑，突显了目标泄露问题——模型依赖的特征（抗生素医嘱）泄露了诊断信息。
- 机器学习评估可能偏离现实，在系统实际运行失败前给开发者带来虚假满足感，特别是大型语言模型面对无限多变、测试集无法完全捕捉的输入空间时。
- 在生产环境中使用模型可能因反馈循环破坏评估：例如欺诈模型会招致对抗策略，推荐引擎则形成自我强化的偏好，使原始验证数据失效。
- 聊天机器人等生成式模型使定义‘正确’输出变得困难，指标可能优化错误行为（如谄媚性回应），且缺乏针对罕见复杂决策的基准真值数据。
- 应对不完美评估的方案需从静态门槛式检验转向持续观测方法：采用相互矛盾的工具组合，制度化地对高摩擦交互进行人工抽样，并通过安全网机制控制影响范围。