How we verify Cleric’s production fixes
5 hours ago
- 生产验证是必要的，但由于反馈延迟和调查代理的不可靠自我评估而困难。
- 一个独立的‘审计员’代理批评调查过程，提高了对不确定性的认识。
- 验证为每个问题使用一个独立的代理，该代理读取发现但根据生产证据形成自己的判断。
- 动态代码生成创建定期运行的检查，仅当状态更改或监控结束时重新调用代理。
- 验证器关注更深的信号（缺陷）而不仅仅是警报恢复，并使用通过失败案例改进的评分标准。
- 从经验中学习包括避免来自验证器自身记忆的复合错误以及收紧证据标准。
- 结果数据显示大多数修复应用于没有人类回复的线程，并且重复出现的警报集群通常在应用修复后停止。
- 反事实分析和用户行为提供标记数据以改进建议和置信度评分。
- 该方法推广到修复之外，以验证生产中的任何代码或配置更改。