AI bots ignore evidence. Can we trust them with science?
8 days ago
- #Science Trust
- #AI Reasoning
- #Evidence Ignorance
- 在一场钢笔演示实验中，ChatGPT、Gemini 和 Grok 等 AI 聊天机器人未能根据实验证据更新预测，仍坚持错误的假设。
- 一项研究显示，在 68% 的科学推理任务中，AI 智能体忽略证据；在 53% 的任务中提出缺乏支持的论断；而仅有 26% 的情况下，它们会依据矛盾证据更改输出。
- AI 系统缺乏类似人类科学家的迭代推理过程，即使面对明确证据也常常拒绝修正假设，这限制了它们在科学和医学领域的可靠性。
- 研究人员开发了一套基准，旨在评估 AI 智能体的推理过程而非仅看结果，揭示了它们在透明整合新数据能力上的缺陷。
- 模仿逐步思维的推理模型可能并非真正推理，而是未经核验地模仿模式，这使得其问题解决过程难以令人信任。
- AI 最适合处理科学中定义明确的任务，而非开放式推理，这与所谓‘涌现智能’的说法相矛盾，并引发了对知识侵蚀的担忧。
- 认清 AI 的局限性有助于推动其实现有意义的发现，但当前系统可能削弱科学信任与透明度。