It Is Trivially Easy to Use Reddit to Manipulate AI Search, Research Suggests
a day ago
- #AI Security
- #User-Generated Content
- #AI Manipulation
- 只需13词左右的短小用户生成文本片段，就能轻易操纵ChatGPT和谷歌AI搜索等人工智能代理，导致垃圾/诈骗内容输出。
- 品牌方在Reddit、维基百科和Quora等平台植入推广内容以进行AI引擎优化(AEO)，污染人工智能工具的结果和引用来源。
- 研究表明，深度研究代理在大约半数查询中会引用用户生成内容，其中近四分之一来自此类网站，这使得端到端攻击成为可能。
- AI操控利用词汇相似性原理：与用户查询高度匹配的内容能说服大语言模型，使在相关论坛进行针对性发帖成为有效的污染策略。
- 因操纵所需文本量极小，内容审核面临巨大挑战；难以区分污染内容与真实信息，这引发了关于AI可信度与验证的社会层面担忧。