Skills That Don't Exist: A Large-Scale Study of Hallucinated Skill
a day ago
- #security vulnerability
- #skill hallucination
- #LLM agents
- LLM 代理从开放注册表中推荐并安装技能，但经常会臆想出实际上并不存在的技能名称。
- 技能名称幻觉为供应链攻击创造了条件，攻击者可以通过预先注册带有虚假名称的恶意技能，诱使受害者进行安装。
- 一项大规模研究评估了 12 种配置下的 15,000 条提示，结果显示，独立 LLM 的平均幻觉率为 36.0%，而代理的平均幻觉率为 36.9%。
- 幻觉名称并非随机产生；代理会重复使用相同的虚假名称，这为劫持攻击提供了可靠的目标。
- 检索式基础等防御措施可以减少幻觉，但会严重影响到可用性，突显了安全性和可用性之间的冲突。
- 解决这一漏洞需要生态系统进行结构性变革，例如在注册表层面实施名称预留和建立经过验证的推荐渠道。