AI 与 Lean 如何降低软件形式化验证门槛
形式化验证借助数学证明检查软件正确性,过去高度依赖专业人员。文章介绍 AI 与 Lean 如何帮助自动化这一过程。
AI 深度解读
AI 写完代码、跑过测试,再让另一个模型检查一遍,能不能算「验证完成」?Latent Space 这篇报道把问题推向了形式化验证:让 AI 生成代码和证明,再由数学规则检查代码是否满足明确要求。
它最值得程序员关注的判断是:AI 编程的下一道瓶颈,可能是如何确认交付结果正确。不过,报道中的生产应用、厂商愿景和未经核实的数学突破,需要分开看。
测试通过以后,还差哪一种确定性
报道采访的 Clark Barrett 是 &Truth 联合创始人、联合 CEO,也是 Stanford 的计算机科学研究教授,参与创建了自动推理引擎 cvc5。
他指出,测试、扫描和修补工具已经能发现大量问题,但开发者仍然难以回答:问题是不是已经找全了?
测试通常检查选定输入下的行为。形式化验证则把要求写成可以推理的命题,再检查程序是否满足这些命题。例如,验证某段代码在给定前提下不会越界访问,目标就不只是让几个边界用例通过,而是覆盖该命题约定的输入范围。
形式化验证提供的保证,始终受规格和前提约束。
这层边界很关键。「证明程序符合要求」和「证明产品满足用户需要」之间,仍然隔着规格是否写对、模型是否覆盖真实环境等问题。
cvc5 属于可满足性模理论求解器,即 SMT solver。可以把它理解为:在一组逻辑约束和理论规则下,自动判断条件能否同时成立,并支持相关推理。它与后文的 Lean 不是同一种工具,但都属于形式化方法的工具链。
据 Barrett 转述,Amazon 的生产流水线每天调用 cvc5 数十亿次;Amazon 的智能体开发环境 Kiro 也使用它进行规格分析和测试生成。这是受访者提供的应用案例,报道没有给出独立审计数据,更不能把调用次数直接当成软件正确率。
这里还有一个容易忽略的细节:形式化工具已经可以帮助生成测试。两者能够配合使用,并不需要先把整个项目改造成一套证明系统。
为什么让 AI 写证明,再让 Lean 检查
&Truth 的路线建立在开源编程语言与证明助手 Lean 之上:AI 和自动推理技术负责构造证明,Lean 负责检查证明。
Harmonic 的自动定理证明器 Aristotle 也采用类似分工。按其产品描述,AI 编写证明,Lean 检查其中每一步,最终结论不依赖于对模型回答的直接信任。
这种分工的价值在于,生成和检查采用了不同机制。让另一个模型评审代码,仍可能重复同一种误判;证明检查器则按照形式规则接受或拒绝证明。当然,它检查的是交给它的命题,规格遗漏的问题不会自动补齐。
Axiom Math 还把这套机制用于训练反馈。它的 AxiomProver 生成 Lean 证明,AXLE 工具包用于探索、验证和操作证明。证明尝试能得到明确的正确性反馈,再用于改进后续模型。至于公司所说的「扩展智能」,属于对这条路线的愿景。
报道还列举了几个数学案例:Vals 认为 GPT-6.2 Astra 给出了 Smoktunowicz’s Gap Theorem 的首个 Lean 证明;Anthropic 将 Fermat’s Last Theorem 形式化,项目规模为 1300 万行;以及 Levent Alpöge 声称使用 Claude 证明了已有 167 年历史的 Riemann hypothesis,并发布 Lean 证明。
这些内容在给定原文中没有提供足够的核验材料,尤其最后一项属于重大数学突破声明,应保留疑问。模型产出 Lean 文件、文件通过检查、形式化命题准确对应原问题,是需要分别确认的事情。不能用这些消息直接推导出「AI 已经能可靠验证业务软件」。
真正接近工程落地的,是验证范围和成本
&Truth 希望构建一台「验证机器」:读取任何语言的代码,判断它是否满足精确表述的要求,让人无需理解每一行代码也能建立信任。
但它当前展示的入口更具体。首个工具 &Atlas 从 C 语言入手,建立开源代码地图;Barrett 提出的重点用途,是检查开源和闭源 C 代码的内存安全,并在不安全时指出问题。
「支持任何语言」是目标,「从 C 代码和内存安全切入」才是报道呈现的具体方向。对前端和全栈团队而言,这个区别决定了能否直接接进现有项目。原文没有交代 JavaScript、TypeScript 或 Node 的实际支持情况。
成本方面,Theorem 与 Anthropic 给出了一组较明确的数据:在 36 个小型验证任务上,Opus 5.5 达到 50% 解决率时,比 Opus 5 少消耗约 40% 的 token。
这组结果支持一个有限结论:在这套任务和相同解决率下,新模型生成有效证明更省 token。它没有说明大型仓库能达到什么覆盖率,也没有给出完整工程成本。规格编写、环境建模、证明维护和人工审查,都不能从 token 降幅里直接推算。
Theorem 另有按模型发布日期展示的证明效率评估,指标是每小时验证的机器码 KB 数,附带 95% 区间。指标很具体,但给定正文没有列出各点数值,不能据此补出性能倍数。
这套合作还使用了 Rocq,而非 Lean。关键思路是由模型承担繁重的证明构造,再让机器检查证明。
我的判断
我认同报道对 AI 编程工作流的判断:生成越便宜,明确验收条件就越重要。&Truth 将这种方向称为「veri-coding」,设想开发者与智能体先确定规格,再由智能体协同验证工具完成工作。
但 Barrett 所说的「几乎感觉不到区别,代码第一次就能工作」,目前应视为产品愿景。报道没有给出普通团队接入前后的对照数据,也没有说明规格需要投入多少人工。
相较于测试和模型评审,形式化验证的优势是:针对已形式化的性质,它能提供更明确的保证。代价则是必须把要求写得足够精确,并建立适用的程序模型。界面是否顺手、交互是否符合真实需求,也无法仅凭某个程序命题得到答案。
因此,我更看好它先覆盖范围清楚、失败代价高的局部逻辑,再逐步扩大适用面。原文对 C 内存安全的聚焦符合这个方向;从这里跨到任意语言、完整应用和首次交付即正确,还缺少工程证据。
现阶段可以借鉴它的验收思路,工具能力则应按具体任务验证。
能拿来做什么
-
在日常 AI 编程中,先把「功能正常」改写成可检查的条件。让智能体生成代码之前,明确输入范围、边界行为和必须保持的约束;这些规格即使暂时不用形式化工具,也能直接帮助编写测试和审查实现。
-
让智能体说明它实际完成了哪种检查。跑过测试、经过另一个模型评审、拿到机器检查通过的形式证明,应分别记录,避免一句「已验证」掩盖证据差异。
-
如果团队维护 C 代码,或 Node 项目涉及原生组件,可以从局部内存安全性质评估形式化工具。先确认工具能处理的代码范围、建模要求和验证成本,原文尚不足以支持直接接入整套仓库。
-
评估相关产品时,要求它展示具体规格、证明检查结果和未覆盖范围。对照 36 个小任务、50% 解决率、约 40% token 降幅这类数据时,也要确认自家任务是否具有可比性。