Yoshua Bengio: 'If you prioritize safety, leave frontier AI companies'
a day ago
- 深度学习先驱约舒亚·本吉奥（Yoshua Bengio）对未重视早先关于人工智能风险的警告，以及因动机性推理而轻视同事们的担忧表示遗憾。
- 他敦促前沿人工智能工作人员反思是否想要为推进可能将人类推向灾难的系统做出贡献，并考虑离开顶尖实验室。
- 本吉奥强调，大公司的安全努力不足以减缓迈向递归自我改进的竞赛，首席执行官们面临来自股东和竞争的相互冲突的激励。
- 他创立了LawZero，一个致力于构建设计安全的人工智能的非营利组织，获得了加拿大和德国政府超过2亿美元的承诺资金，并计划再筹集数十亿美元。
- 他呼吁人工智能研究人员加入像人工智能安全研究所或LawZero这样专注于安全的组织，强调个人的能动性可以带来改变。
- 他承认困难，但坚持认为如果有足够多的人离开前沿实验室，就能阻止这场竞赛，并举了前员工辞职和道德义务的例子。