An Empirical Study: AI Agent Rules Need Context and Layered Enforcement
12 hours ago
- AI代理的规则通常依赖于上下文和分层操作系统执行才能得到有效检查，正如ActPlane对2,116条声明的研究所展示的那样。
- 研究发现，64%的声明是需要执行的策略，其中83%是可系统观察的，但只有45%可直接由操作系统执行。
- 跨事件策略依赖于时间顺序或数据溯源，占策略总数的16%，在开发流程中尤为普遍。
- 上下文依赖是主要挑战：64.2%的可系统观察策略需要项目上下文才能解析具体规则。
- ActPlane使用一种领域特定语言（DSL），包含来源、目标操作、效果、时间门限和原因字符串等组件，将策略编译为可执行的规则。
- 执行引擎利用eBPF进行操作系统级检查，效果包括阻止、终止和通知，并具有信息流标签等功能。
- 语义反馈显著提升了合规性，ActPlane实现了75.8%的决策合规率，并在检测到违规时达到97.7%的恢复率。
- 系统开销较低，即使在100条规则下端到端成本也低于8.4%，微基准测试显示系统调用延迟远低于LLM推理时间。
- ActPlane的方法在安全基准测试中阻止了74%的不安全行为，但仍存在局限性，例如对纯语义策略和服务端效果的覆盖不足。
- 该研究强调需要从现有指令文件出发，解析上下文，编译可操作系统执行的子集并结合反馈，以实现有效的代理治理。