Asimov: NeuroSymbolic Adversarial Generation of Ethic Axioms
10 hours ago
- #Neurosymbolic
- #Ethical AI
- #AI Safety
- 阿西莫夫通过对抗性优化和使用Z3求解器的形式验证生成伦理公理，以解决人工智能系统中的对齐问题。
- 它结合了对抗性技术以实现广泛覆盖，以及神经符号方法以提供形式化保证，并以机器人三定律为基础的种子公理作为起点。
- 该架构涉及一个迭代循环：使用LLM生成的对抗示例攻击公理，修补公理，并用Z3进行验证，同时使用小型模型进行测试以确保鲁棒性。
- 使用小型模型的经验教训包括分步执行、鲁棒验证、重试机制、容错性以及用于解析输出的自定义工具。
- 评估使用良性和有害场景，以确保公理既不过于严格也不过于宽松，并显示每次迭代后的韧性提升。
- 最终的公理包括关于防止伤害、服从命令、自我保存、风险缓解和优先行动等规则，适用于实际用例中的代理约束，如邮件发送和发票审核。