Partnering with Accenture on Embedded Evaluation
5 hours ago
- Anthropic正与埃森哲合作，对前沿AI进行独立评估，并如承诺所言在公司内部嵌入评估人员。
- 这项由Accenture旗下AI业务部门Faculty主导的合作包括模型评估、红队测试、对齐评估和安全测试。
- 两家公司计划在五年内各自投入至少10亿美元以建设评估能力。
- 嵌入式评估人员在AI公司内部工作，拥有员工级别的访问权限，监控培训、决策以及与员工的直接互动。
- 这种方法旨在评估运营、验证安全承诺、识别盲点，并报告事件以告知公众。
- 嵌入式评估不会减少问责性，而是使其更可验证；安全仍然是Anthropic的责任。
- 目前尚不存在评估人员访问、报告或资金的标准；Anthropic支持最终采用集中/政府资金，并目前直接资助埃森哲。
- Anthropic正与METR和其他非营利组织洽谈试点嵌入式评估，期待形成一个多元化的评估生态系统。
- 该合作是非排他性的；Anthropic将与其他评估方合作，埃森哲也将与其他AI开发者合作。
- 随着该领域的发展，Anthropic将分享其不断演变的方法。