- 巴西的律师试图通过在请愿书中以白色文本隐藏指令来欺骗司法系统,目标直指法院使用的AI系统Galileu。AI检测到这一企图,导致律师受到制裁。
- 这种‘提示注入’技术并非科幻小说,而是意料之中的发展,西班牙等国的法律框架已在考虑AI在法庭上的应用。
- 提示注入涉及插入隐藏提示以操纵AI系统,类似策略已在教育和招聘领域用于检测或影响AI行为。
- 法律界因文件数量庞大且具有国家权威而特别脆弱,此前已有律师使用AI伪造判例法的案例。
- Galileu通过起草裁决协助法官,但需要人工审核;此次欺诈旨在在证据到达法官前将其消除。
- 巴西其他法院也发现了类似企图,包括一条命令AI批准所有请求措施的提示。
- 真正的危险是‘隐形欺诈’——改变阅读和解释的过程,而不仅仅是伪造内容。
- 风险延伸至律所文件交换,引发对职业道德以及积极辩护与欺骗之间界限的担忧。