How an inference provider can prove they're not serving a quantized model
5 days ago
- #secure-inference
- #cryptographic-attestation
- #model-verification
- Tinfoil的Modelwrap技术提供密码学保证，确保每次请求时向客户端提供特定且未被篡改的模型权重
- Modelwrap包含三个核心组件：对模型权重的公开承诺、与推理服务器的绑定机制，以及客户端验证流程
- 安全硬件飞地中的认证机制仅能测量启动状态，无法验证运行时状态，因此需要额外机制来确保启动后的数据加载可信
- 该系统采用Merkle树实现高效数据验证，并通过dm-verity技术在每次读取时强制执行内核级的密码学承诺
- 该方案同时支持公开和私有模型，可在不泄露专有权重的前提下完成验证
- 性能测试显示存储开销仅增加0.8%，构建时间可控，运行时开销主要影响初始模型加载阶段
- Modelwrap已开源，用户既可验证部署情况，也能在自有飞地中为私有权重生成承诺