用密码学证明核验模型推理来源
文章介绍被称为 FlashProve 的开源推理证明原型,通过密码学证明将输出绑定到已承诺的模型权重,验证端无需 GPU。文中给出的实验代价约为普通推理 GPU 时间的 70 至 95 倍,另有证明传输和 CPU 验证开销。
AI 深度解读
API 返回的模型名,能证明真正执行推理的就是那个模型吗?原文介绍的 FlashProve 试图给出密码学证据:服务商先承诺一组模型权重,再证明这些权重确实产生了返回的 token,验证者不需要拿到权重,也不需要 GPU。
按原文披露的数据,它已能为 400B 参数的模型生成证明,但 GPU 时间开销仍是常规推理的 70-95 倍。值得读的地方,是它把「相信服务商」推进到了「检查计算证据」;需要克制的地方,是这套证据目前覆盖的推理条件相当有限。
模型名为什么还不够,证明又能保证什么
通过第三方路由调用模型时,调用方通常只能看到请求、响应和模型标识。路由是否换了便宜模型,推理服务器是否被攻击,单靠回答质量很难判断。评测也有同样的问题:发布前测过的模型,是否就是发布后实际提供服务的那个?
原文称,Anthropic Frontier Red Team 与 EPFL、StarkWare、MIT 等机构的研究者于 2026 年 11 月 2 日发布了开源原型 FlashProve。它要验证的是一个具体命题:某组已承诺的权重,在给定输入和推理规则下,确实产生了这些输出 token。
这里的「承诺」可以理解为先给权重固定一个不能随意更换的指纹,同时保密权重内容。证明能检查后续计算是否遵守了这份承诺。
这对独立评测、安全扫描来源核验,以及获批模型的运行核验都有价值。自己重跑也能核验,但通常既拿不到私有权重,也承担不起计算成本。
边界也要看清:证明计算来自指定权重,不等于证明回答正确、安全,或者扫描没有漏报。我还会追问,客户端凭什么确认这份权重承诺对应自己购买的模型?原文没有展开这一步的身份绑定。
它为什么能把证明压到一张 H100 上
FlashProve 使用 zkSNARK,也就是零知识简洁知识论证。大白话解释:服务商提交计算证书,验证者可以检查执行是否符合规则,却看不到私有权重。
流程分两段。离线阶段,服务商为权重生成承诺:一张 H100 约需 39 分钟,一份承诺可支撑约 1600 万次请求,之后需要重新承诺;客户端下载约 6.5 MB 承诺数据。在线阶段,再针对请求生成证明。持有承诺、prompt 和回复的人都能检查。
协议底层使用交互式预言机证明(IOP),通过哈希函数转成密码学证明,并使用编码接近性测试和查找论证。原文还称,该构造提供后量子安全性。
速度主要来自三项工程选择:
- 只证明实际激活的专家。Llama 4 Maverick 是 400B 参数的混合专家模型(MoE),每个 token 约使用 17B 参数,证明工作量跟着这部分计算走,同时隐藏选中了哪些专家。
- 推理结束后批量证明。证明器像 prefill 一样,并行处理已经生成的文本,每批只打开一次权重承诺。原文给出的一个批次是 24 个请求,耗时约 223 秒。
- 按层分段处理权重。权重从主机内存流入 GPU,一张 80 GB GPU 配合约 290 GB 主机内存即可运行。
它采用事后证明,用户收到文本时未必已经拿到保证。
这种设计允许延后证明,甚至只证明部分 token,但要付出重新计算的成本,也会碰到浮点计算不确定性带来的匹配问题。
110 tokens/s 很快,但离日常聊天还有多远
原文最醒目的结果是:针对采用 4-bit 权重的 Llama 4 Maverick,一张 H100 的证明生成速度约为 110 tokens/s;每个 1,024-token 请求对应约 19 MB 证明,在 24 线程 CPU 上验证约需 17 秒。
这里的 110 tokens/s 是证明生成吞吐,不能直接当作聊天响应速度。相比用 vLLM 服务同样的请求,GPU 时间开销仍约为 70-95 倍。
原文列出的历史结果能说明进展幅度:
| 系统 | 原文披露的结果 |
|---|---|
| ZKML | 为 117M 参数的 GPT-2 证明,每 token 约 159 秒 |
| zkLLM(2024) | LLaMA-2-13B 批处理约 2.5 tok/s |
| VerInf | 同为 Llama 4 Maverick,约 0.02 tok/s,证明达 93.6 GB,验证接近一天 |
| Attestable | Gemma 4 31B 在一张 H100 上约 53-77 tok/s,原文写作时属商业闭源系统 |
| FlashProve | Maverick 约 110 tok/s,证明约 19 MB,验证约 17 秒 |
不过,这些结果涉及不同模型、实现和批处理条件,不能直接当成统一基准排名。它们支持「可证明推理进步很快」,不足以证明所有场景都有相同收益。
更直接的限制在支持范围。目前证明覆盖的是精确的整数模型和贪心解码(greedy decoding),也就是每步选取最高分 token。采样解码或浮点实现可能产生不同结果,无法直接匹配已证明的计算。上下文也只有 1,024 token,远短于常见聊天和 agent 工作流。
此外,它依赖 MoE 结构,不隐藏模型架构,证明耗时等侧信道不在保护范围内。原文没有给出面向一般生产流量的完整部署方案。
我的判断
我认可它把信任尽量集中到验证器上的方向。相比要求审计方持有模型权重并重跑,检查证据的门槛更低,也更适合权重需要保密的服务。
但密码学保证最终还要落到代码。团队用 Lean 形式化证明了完备性、健全性和零知识性,前提是随机预言机模型;项目提供快速 C++ 验证器,以及较慢的 Lean 验证器。后者被证明只会接受健全性定理允许接受的证明。
仍有两个缺口:人要审查形式化命题是否准确表达了需求;快速代码、论文与 Lean 规范之间没有完整的形式化对应保证。原文所说的「只需信任验证器」,也要求验证器本身足够可信。
和服务商声明、可信硬件、抽样重算相比,FlashProve 提供了不同的保证方式,但原文没有给出完整的成本与风险对照。认为它适合高价值输出或抽样流量,是有依据的工程判断,还不是已经验证过的普遍结论。
它目前仍是研究原型。原文还特别说明,Anthropic 完成 Frontier Safety Roadmap 相关目标依靠的是另一个项目:对流量签名,并在可信服务器上重算;该目标后来改名为「inference verification」。不能把这件事当成 FlashProve 已投入生产的证据。
能拿来做什么
- 给现有 AI 调用链标出信任边界。如果评测结果依赖具体模型,就记录模型标识来自哪里、路由由谁控制,以及现在能用什么证据核验。
- 在 Node 服务或评测脚本中保存 prompt、精确输出 token、模型标识和解码设置。事后证明与审计都需要准确输入输出,只有渲染后的聊天记录未必够用。
- 做模型来源实验时,固定解码规则,并确认浮点服务与整数模型的差异。仅把采样改成 greedy decoding,还不能保证满足 FlashProve 的全部条件。
- 优先评估安全扫描、发布前评测等高价值任务中的抽样核验。先确认 1,024-token 上下文是否够用,再衡量 70-95 倍 GPU 时间和证明延迟能否接受。