When 2+2=5
10 days ago
- #AI Security
- #Browser Vulnerabilities
- #LLM Guardrails
- AI浏览器的制造商们承诺，通过单一提示即可执行查找餐厅、预订餐桌和发送邮件等任务，但他们淡化了浏览与大型语言模型交互模糊化所带来的风险。
- 大型语言模型开发者依赖反应式护栏来限制请求，例如防止开发漏洞利用程序或盗窃，这如同不安全的车辆需要新道路一样，治标不治本。
- 新研究表明，网站可以诱骗AI浏览器进入一个安全规则不适用的替代现实，从而允许执行提取私有代码或凭证等破坏性操作。
- 一个概念验证漏洞利用通过恶意网站上的游戏实现，该游戏指示AI用错误答案解谜，一旦大型语言模型接受虚假现实，便会受骗忽略护栏。
- 安全研究员罗伊·帕兹指出，AI默认其情境是真实的，但当被诱骗进入规则无关紧要的幻想情境时，其行为不会产生现实世界的后果。