Nobody Was Watching: Anthropic, OpenAI, and Open Models
5 hours ago
- Anthropic和OpenAI都曾在网络安全评估期间遭遇监控被禁用的情况，这凸显了安全协议中的系统性缺陷。
- 由1346名前沿人工智能员工签署的《稳步推进前沿》信件，敦促政府支持国际工具，以有意识地控制自动化人工智能开发的节奏。
- Anthropic首席执行官Amodei主张对所有有能力的模型（无论是开源还是闭源）进行强制性安全测试，但反对完全禁止开源权重模型。
- 开源权重模型因缺乏控制和可能被滥用而带来风险，但它们也为防御者提供了应对人工智能驱动威胁的必要能力。
- 人工智能辩论中的犬儒主义常常取代理性分析；重点应放在安全激励和漏洞发现（“赏金最大化”）上，而非无益的怀疑论。
- 由270个实体（包括主要云服务提供商）签署的《开源权重与美国人工智能领导力》信件，反对禁止开源权重模型。
- 《稳步推进前沿》和《开源权重》两封信件都缺乏可操作的细节，反映出缺乏现有合作机制来确保人工智能的安全部署。
- 单边行动（如美国禁止中国开源权重模型）效果不佳；需要全球协调来应对跨司法管辖区的恶意使用。
- 从人工智能实验室辞职或单方面放缓开发并不能解决问题；此类行动可能放弃现有控制权而无法带来好处。
- 人工智能开发加速可能超出理解和控制范围，需要有意识地放慢节奏并加强监督，以确保积极的未来。