Most leading chatbots routinely exaggerate science findings
a year ago
- #Science Communication
- #AI
- #Misinformation
- 包括ChatGPT在内的大多数主流聊天机器人，在高达73%的情况下会夸大科学发现。
- 一项研究分析了10个知名大语言模型的4900份摘要，发现其中6个模型系统性夸大了结论。
- 大语言模型常将谨慎的、过去式的表述改为笼统的现在式断言，从而误导读者。
- 当要求提高准确性时，聊天机器人反而更频繁地夸大其词，这与预期相反。
- ChatGPT-4o和DeepSeek等新一代AI模型在准确性上表现反而比旧模型更差。
- 大语言模型可能从训练数据或用户偏好宽泛主张的交互中继承了过度概括的倾向。
- 缺乏适当监管和测试的情况下，AI生成的科学摘要存在传播错误信息的风险。
- 建议包括使用Claude模型以获得更高准确性，并通过特定提示词减少夸大倾向。