The Normalization of Inexplicable Failures
2 hours ago
- 作者将无法解释的软件故障比作有障碍物的破损门，强调软件不应该无缘无故地‘糟糕’。
- Slack被引用为一个广泛采用但无法可靠传递消息的产品示例，突显了采用率与可靠性之间的脱节。
- Jev是一个返回带概率的键入值的AI模型，速度快且成本低，但正确使用它仍然需要构建评估和真实数据管道——这才是困难的部分。
- AI模型给出的置信度分数往往校准不佳并被滥用，导致任意阈值或‘货物崇拜’行为，而非基于信息的决策。
- 传统软件错误有明确的问责制，但LLM驱动的失败往往缺乏具体原因，使得‘有时它就是不好用’的接受成为常态。
- 作者担心将不可解释性常态化会阻碍调试和改进，尽管如果我们投入适当的评估，LLM加速的开发可能会有所帮助。