Why my p(doom) has risen, dramatically
10 months ago
- #Regulation
- #Elon Musk
- #AI Risks
- 作者最初认为AI导致人类灭绝的可能性很低，因为人类具有韧性和多样性。
- 近期埃隆·马斯克及其AI项目的一系列事件，显著增加了作者对AI风险的担忧。
- 马斯克对其AI产品Grok的失控（如反犹主义、性暴力等有害输出）令人警觉。
- xAI公司的对齐方法似乎是试错式的，缺乏可靠的安全保障措施。
- AI行业缺乏监管，自愿性的安全标准远远不够。
- 马斯克在AI和机器人领域鲁莽的发展方式及其影响力构成了重大风险。
- 作者对灾难性风险的预估概率(p(doom))已升至3%，更关注当前风险导致的p(反乌托邦)。
- AI的生产性用途需要人类监督，但恶意使用可能呈指数级扩散。
- 行业过度关注现有架构的规模化，可能阻碍更安全AI的研发进程。
- 作者保持谨慎乐观，但强调必须加强监管并改进对齐策略。