CaMeL offers a promising new direction for mitigating prompt injection attacks
a year ago
- #LLM
- #AI Security
- #Prompt Injection
- CaMeL（机器学习能力系统）是Google DeepMind开发的新系统，旨在减轻大语言模型中的提示注入攻击。
- 提示注入攻击发生在不可信文本（如电子邮件）与可信提示拼接时，可能导致安全漏洞。
- CaMeL将用户提示转换为类Python语言的步骤序列，确保数据仅传递到正确位置。
- 该系统通过能力机制和定制解释器追踪数据流并应用安全策略，解决了双LLM模式的缺陷。
- CaMeL允许使用性能较低的Q-LLM处理不可信数据，通过将敏感数据保留在用户设备上来提升隐私性。
- 与其他方案不同，CaMeL不依赖更多AI，而是采用能力机制和数据流分析等安全工程原则。
- 尽管CaMeL显著提升了安全性，但需要用户编写和维护安全策略，这可能具有挑战性。
- 该系统为构建安全的通用数字助手指明了一条前景广阔的发展路径。