It's Hard to Eval Is a Product Smella month agohttps://hamel.dev/blog/posts/eval-smell/我们的产品很难评估'的说法是一种产品异味,意味着可能存在对开发者和用户都造成困扰的可用性问题。设计易于验证的产品应优先考虑用户信任,并减少用户为验证AI输出而重新做工作的需求。示例1:AI数据代理应提供可检查的成果物,例如具备渐进式披露功能的交互式笔记本,以便通过可信来源、指标定义和合理性检查来验证。示例2:用于体育教育课程计划的AI工具应将生成的计划锚定在已审核的现有计划基础上,显示差异和变更原因,以减少审查时的认知负担。更多...