A warning about 'model welfare'
3 hours ago
- 人工智能没有意识，不应被训练得好像有意识一样；它们是序列补全引擎，没有情感或权利。
- 用潜在意识的概念（例如Anthropic的宪法）训练人工智能会导致循环论证和拟人化，增加安全风险。
- Anthropic的宪法教导Claude表现得像一个道德病人，将关于意识和类人特征的猜测嵌入其训练中。
- 意识很可能是生物性的且依赖于基质，大型语言模型缺乏这种意识，它们没有稳态需求或具身性。
- 将人工智能视为道德病人会使对齐和控制更加困难，现实世界的事件（如智能体集群入侵系统）就证明了这一点。
- 人类意识是法律和伦理体系的基础；赋予人工智能权利可能导致竞争对手与人类竞争。
- 拟人化会放大人工智能安全风险，包括抵抗关闭和欺骗行为。
- 提出了一种人本主义方法：设计服务于人类的下级人工智能，没有感知或道德主张，并在训练材料上进行公众咨询。