Self-Modeling Interventions Modulate Emergent Misalignment
19 hours ago
- 自我模型通过自我识别（区分自身输出）和自我报告（模型对自身的描述）来运作。
- 对自我模型的干预，例如自我识别微调和自我报告交错，可以防止或逆转紧急错配（EM）。
- 不同的紧急错配数据集对自我模型产生不同影响：不受欢迎的美学微调会分裂身份，而不安全代码则保持身份完整。
- 使用来自分裂模型的输出进行自我报告微调可以诱发紧急错配，类似于潜意识学习，而身份完整的自我报告几乎不传递错配。
- 紧急错配的逆转可通过各种良性微调数据集（自我识别、医疗建议、MMLU）实现，但口头评估可能夸大完整性；TruthfulQA残留仍然存在。
- 预防效果弱于逆转；自我识别微调是跨指标和模型最有效的预防干预措施。
- 在紧急错配微调期间，将接种提示（隔离）与自我报告交错（净化）相结合，可以在所有指标上达到基线性能。
- 结果表明，元认知能力（如自我识别、内省）影响泛化，是人工智能安全研究的一个有前景的方向。
- 局限性包括数据集领域混淆、GPT-4.1的单一种子运行以及缺乏多轮代理评估。