The Future of Comments Is Lies, I Guess
a year ago
- #LLM
- #moderation
- #spam
- 作者自2004年起在内容审核领域拥有丰富经验，涵盖电子邮件垃圾信息、社交媒体及Mastodon平台。
- 垃圾信息形式多样，从廉价批量发送的垃圾邮件到高度定向的鱼叉式网络钓鱼攻击不一而足。
- 大语言模型（LLMs）正在改变垃圾信息生态，能以极低成本自动生成极具迷惑性的垃圾内容。
- 典型案例包括：LLM生成的博客评论（含虚构个人经历和产品植入）、技术论坛的误导性摘要等。
- 这类模型甚至被用于在Hacker News等平台制造误导性内容摘要，助长错误信息传播。
- 审核成本正急剧上升——审核员必须区分「社交笨拙的真实用户」与「高度拟真的LLM垃圾信息」。
- 未来风险包括：AI语音诈骗、熟人身份模拟攻击、以及长期经营的虚假人际关系陷阱。
- 随着垃圾信息经济模型演变，Mastodon等去中心化隐私优先网络可能成为新目标。
- 作者对LLM生成的垃圾与错误信息日益增长的治理难度表示深切担忧。