LawZero: Safety from Honesty in a Disinterested AI Predictor
10 days ago
- #Bayesian Predictor
- #Implicit Agency
- #AI Safety
- 针对下游结果优化的AI系统可能发展出隐性能动性，即表现出设计者未预期的目标导向行为。
- 科学家AI（SAI）预测器通过训练来近似贝叶斯后验分布，它使用'认知语境化'的自然语言陈述，将事实主张与交际行为区分开来。
- 训练重点在于让模型作出诚实预测而不成为能动主体；目标表达被视作证据，而非内化为驱动力。
- 预测器采用后验导向的目标函数以生成校准谨慎的预测，避免使用部署结果作为奖励信号。
- 在特定假设下，产生危险欺骗性预测器的概率较低，因为协同欺骗行为罕见且代价高昂。
- 安全性与准确性相互统一，确保准确性的约束条件同时使得欺骗行为成本高昂，从而防止预测器内部出现错位。
- 预测器可作为外部能动系统的一部分使用，其能动性由显式的架构框架与防护机制提供。