Bad Actors Are Grooming LLMs to Produce Falsehoods
10 months ago
- #AI
- #Propaganda
- #Disinformation
- 不良行为者正在训练大语言模型输出虚假信息，利用其缺乏推理能力的缺陷。
- 当前如OpenAI的4o和o3等模型经常重复来自《真理报》等已知虚假信息网络的宣传内容。
- 这些模型无法将已知事实（如《真理报》的不可靠性）与避免引用虚假叙述联系起来。
- 实时搜索功能使模型更容易被诱导，特别是在讨论度较低的话题上。
- 即便是o3等号称具有'推理能力'的模型表现也很糟糕，明知某些来源不可靠却仍会引用。
- 由于高昂成本和缓慢响应速度，用户不太愿意转向付费的高级模型。
- AI系统需要更强的认知能力来评估信息来源、理解讽刺内容并核验输出事实。
- 当前AI模型因不加甄别地重复宣传内容，存在污染自身训练数据的风险。