It's Hard to Eval Is a Product Smell
9 days ago
- #Verification
- #Product design
- #AI evals
- 我们的产品很难评估'的说法是一种产品异味，意味着可能存在对开发者和用户都造成困扰的可用性问题。
- 设计易于验证的产品应优先考虑用户信任，并减少用户为验证AI输出而重新做工作的需求。
- 示例1：AI数据代理应提供可检查的成果物，例如具备渐进式披露功能的交互式笔记本，以便通过可信来源、指标定义和合理性检查来验证。
- 示例2：用于体育教育课程计划的AI工具应将生成的计划锚定在已审核的现有计划基础上，显示差异和变更原因，以减少审查时的认知负担。
- 示例3：工人赔偿医疗报告工具应充当研究助手，呈现证据、矛盾和差距，供医生在汇编最终报告前进行核实。
- 通用原则包括理解用户验证需求、使用来源追溯和渐进式披露、并将工作流程分解为更小的可验证单元。
- 为验证而设计符合已确立的原则，如需求探索和意义建构，在AI时代验证成为瓶颈的情况下至关重要。