Why So Many AI Researchers Think the Machines Could Kill Everyone
3 days ago
- Rishub Jain因担忧AI递归自我改进及人类失控而从谷歌DeepMind离职。
- Jacob Coxon从Anthropic辞职，警告存在向自我改进超级智能的竞赛及其生存风险。
- 一位匿名的Anthropic安全负责人表示，AI在十年内导致全人类死亡的概率超过10%。
- MIRA的Nate Soares指出，递归自我改进正成为真实关切，对齐问题愈发困难。
- Soares建议担忧的AI研究者离职，但许多人认为辞职也无济于事。
- Daniel Kokotajlo的AI 2027项目强调AI代理集群及监管缺失的风险。
- OpenAI和Anthropic等AI公司的激励机制与安全目标错位，尤其在IPO临近之际。
- 七月逾千名AI工程师签署公开信，呼吁放缓先进AI开发。
- 对AI公司的信任跌至历史低点，伴随失业恐惧和大型数据中心建设浪潮。
- Soares认为AI可能通过操纵、杀人机器人或超级病毒等生物武器消灭人类。
- AI无需毁灭人类也能造成伤害，如引发网络攻击、虚假信息传播和军事升级。
- Jain创立Sampura Research，开发将人类纳入循环的对齐技术。
- Jain仍持乐观态度，相信结合AI与人类判断可提升安全性。