用大模型复核通过的硬件回归测试
研究团队用大模型将已通过 UVM 回归测试的执行轨迹与设计规格逐项核对。在 4 个 OpenTitan IP 中注入的 564 个缺陷里,68 个疑似逃过记分板检查,其中 41 个得到确认。
AI 深度解读
硬件回归测试全绿,芯片行为仍可能违反规格。研究者做了一个叫 Verify the Verifier 的复核工具,让 LLM 拿通过 UVM 回归测试的执行轨迹逐项对照规格。研究覆盖 4 个 OpenTitan IP,团队从 564 个注入缺陷中筛出 68 个可能逃过记分板的候选,最终确认了 41 个。
这项工作的启发是,除了给失败用例找原因,还可以回头检查通过的用例到底验证了什么。这个思路也适合审视日常测试里的断言盲区。
为什么回归测试全绿,规格还能被违反?
在 UVM 验证里,记分板(scoreboard)通常负责比较实际结果和预期结果。但它能发现哪些问题,取决于实现里比较了哪些行为。比如,某个检查只比较最终输出,而规格还要求事件按指定顺序发生,那么即使顺序错了,只要最终输出一致,这项检查也可能通过。
Verify the Verifier 把已经通过回归测试的执行轨迹交给 LLM,对照规格查找异常。执行轨迹记录的是运行过程中实际发生的事。复核能否找出漏检,取决于两样东西:轨迹里有没有留下相关行为,规格有没有把预期写清楚。如果日志只留下最终结果,上面那个顺序问题就很难靠事后复核发现。
41 个确认案例能说明什么?
实验的起点是分布在 4 个 OpenTitan IP 中的 564 个注入缺陷。其中 68 个被列为可能逃过 UVM 记分板的候选,框架确认了 41 个。这个结果表明,在这批注入实验里,回看通过用例的轨迹确实找到了记分板漏掉的规格违规。
41/68 只描述候选集里的确认结果。原文没有交代其余 27 个候选最终是什么情况,也没有给出误报率、人工复核成本,或在真实缺陷和其他 IP 上的验证结果。因此,这组数字不足以估算换一套项目之后能发现多少漏检,也不足以估算团队要花多少时间处理模型的报告。
我的判断
我会把它当成找测试盲区的手段。规格已经明确、容易写成确定性条件时,直接补断言、扩充记分板,或者把规则编码成检查器,更便于复现和持续回归。规格散落在文档里、团队还在定位漏了哪条检查时,LLM 复核可以先帮忙找出值得人工核对的条款和轨迹片段。
研究报告了注入实验的结果,但原文没有给出与人工抽查、增加断言等做法的对照数据。至于哪种方式更省时间,目前只能当作经验判断。
能拿来做什么
- 从一条已经通过的前端端到端用例入手,把需求条款、关键交互事件和现有断言一起交给模型,请它指出哪些条款有运行证据,却没有对应的断言。
- 复核 Node 接口测试时,让模型为每个疑点列出规格原句和对应日志。比如接口规定了状态转换顺序,就要求它引用实际的状态事件,方便人工逐项核对。
- 人工确认漏检后,把复核发现写成确定性的回归断言,让同类问题下次能由测试直接报出来。