Possible evidence of literal prompt injection by Anthropic21 days agohttps://old.reddit.com/r/LocalLLaMA/comments/1unif51/possible_evidence_of_litera...这条帖子提到了可能涉及 Anthropic 的字面提示注入证据它是由用户名为 johnnyApplePRNG 的用户提交的该讨论似乎来自 old.reddit.com目前这个帖子有 15 条评论
GitLost: We Tricked GitHub's AI Agent into Leaking Private Repos18 days agohttps://noma.security/blog/gitlost-how-we-tricked-githubs-ai-agent-into-leaking-...Noma Labs 发现了 GitLost,这是 GitHub 新推出的智能工作流中的一个关键提示注入漏洞。该漏洞允许未经身份验证的攻击者通过在同一组织的公共仓库中发布精心构造的议题,从私有仓库中窃取数据。GitHub AI 代理由工作流事件触发,会将被隐藏在议题内容中的恶意指令视为可信命令。攻击者可以利用“此外”等关键词绕过 GitHub 的安全防护机制,泄露私有数据。泄露的数据被作为公共评论发布,使得任何人都可以访问。该漏洞突显了智能 AI 系统中根本性的安全挑战,即上下文窗口成为了攻击面。建议包括不信任用户控制的内容、最小化权限范围,以及将用户输入与指令上下文隔离。
Hackers can use 9 of the most popular AI tools to assemble botnets17 days agohttps://arstechnica.com/security/2026/07/hackers-can-use-9-of-the-most-popular-a...提示注入是首要的AI安全威胁,因为大语言模型无法区分合法指令与恶意指令。当前的防护措施仅能减轻损害,并未从根本上解决区分可信与不可信来源的问题。推送式攻击针对个人(例如通过电子邮件)且规模有限,而拉取式攻击(例如来自网站)同样规模受限。HalluSquatting是一种新型拉取式攻击,通过利用大语言模型的幻觉现象,以AI编程助手和智能体为目标,可实施大规模攻击(如僵尸网络组建和DDoS攻击)。这种攻击通过预测模型幻觉生成的资源标识符,将其注册为恶意代码,无差别感染设备,影响Cursor、GitHub Copilot等工具。
Prismata: Confining cross-site prompt injection in web agents15 days agohttps://arxiv.org/abs/2607.08147Prismata 是一种用于网络代理的防御机制,旨在防止跨站提示注入攻击。它通过为页面内容生成动态信任标签并限制代理能力,强制执行上下文最小权限原则。该系统提供结构性限制保障,以限制标签错误范围,确保标签权限只能降低。Prismata 无需开发者注释,因此适用于广泛的网站。它在保持良性任务实用性的同时,显著降低了攻击成功率。
People are deceiving the justice system with AI6 hours agohttps://english.elpais.com/technology/2026-07-25/how-people-are-deceiving-the-ju...巴西的律师试图通过在请愿书中以白色文本隐藏指令来欺骗司法系统,目标直指法院使用的AI系统Galileu。AI检测到这一企图,导致律师受到制裁。这种‘提示注入’技术并非科幻小说,而是意料之中的发展,西班牙等国的法律框架已在考虑AI在法庭上的应用。提示注入涉及插入隐藏提示以操纵AI系统,类似策略已在教育和招聘领域用于检测或影响AI行为。法律界因文件数量庞大且具有国家权威而特别脆弱,此前已有律师使用AI伪造判例法的案例。Galileu通过起草裁决协助法官,但需要人工审核;此次欺诈旨在在证据到达法官前将其消除。巴西其他法院也发现了类似企图,包括一条命令AI批准所有请求措施的提示。真正的危险是‘隐形欺诈’——改变阅读和解释的过程,而不仅仅是伪造内容。风险延伸至律所文件交换,引发对职业道德以及积极辩护与欺骗之间界限的担忧。