用可复跑的检查验收智能体交付
文章通过三个可复跑的案例,展示如何独立核验智能体的交付结果。其中一项签名检查最初缺少公开密钥,提交者随后补充了 Ed25519 公钥及其指纹。
AI 深度解读
AI Agent 说任务做完了,还附上绿灯测试、截图和通过的 CI。它们都有参考价值,但 Agent 选了哪些测试、截了哪个页面、保留了哪段日志,都会影响你看到的结果。作者给出的验收办法是,拿到一份可以独立取得的记录,在自己的终端里把关键检查重跑一遍。
原文用三次实际复算说明这套方法。一次补齐公钥后验过了签名,一次复算了拒绝执行的回执,还有一次从公开流取出刚生成的回执当场核对。读完最有用的,是能分清一条记录究竟证明了什么,以及验收还有哪一步没做。
公钥补齐后,外部读者才能验签
在 google/adk-python 的 issue #6099 里,外部开发者 DSHCorrectover 发布了一份 Agent 工作验证包。包里已经有签名,但没有公开公钥,作者当时把签名这一项标为 NOT CHECKED。开发者后来把 Ed25519 公钥和指纹一起公开,读者就能从 Zenodo 的归档获取验证包,归档 DOI 是 10.5281/zenodo.24356966。
下面这条命令直接从 pubkey.pem 算指纹,检查文件里的公钥是否与公布的指纹一致。
openssl pkey -pubin -in pubkey.pem -outform DER | tail -c 32 | sha256sum
这里的 tail -c 32 取出 DER 编码末尾的 32 字节 Ed25519 原始公钥。作者算得 adc0254a58f228c6fd1c385b3b586be3130e3f4e6f64f4ed40ac2370ccb99b44,与公布值一致。随后用 sha256sum MANIFEST.sha256 得到清单摘要 c8a6b71d83f9a34b299575db3e2dd26dd194931ff5d88a0ab215b09fed3e0293。
下面这条命令检查清单上的签名能否用公开的公钥验证。
openssl pkeyutl -verify -pubin -inkey pubkey.pem -rawin \
-in MANIFEST.sha256 -sigfile MANIFEST.sha256.sig
第二行指定被签名的原始清单和签名文件。OpenSSL 返回 Verified Successfully,作者又用独立实现 Python cryptography 验了一次,结果一致。两套实现给出相同结果,降低了结论依赖单个工具实现的风险。
验签通过以后还得逐个文件核对。包内能拿到的文件只有 2 个,2 个都与清单中的摘要吻合。其余 333 条指向私有仓库里的文件,签名覆盖了清单中的这些条目,作者拿不到对应文件,无法重新计算它们的摘要。验收报告应当把这两个结果都写出来。
拒绝执行也应该留下可复算的回执
11 月 18 日,Zambo 收到一个作业的重试。该作业已经绑定了由作业 ID 和参数摘要组成的操作键,这次提交的参数与原先绑定的参数不一致。系统在执行前拒绝了请求,留下回执 3c091933-6125-42eb-8795-29b2414a96a8,其中 executed: false,原因是 idempotency_conflict。
作者取回记录,解码出 1,045 字节的规范化数据,再做 SHA-256,算得 844c8b6b3d830627386fa7b962f2ca496602a4c098ce16947976ba4f4903ccb6,与 output_hash 一致。规范化数据可以理解为按约定还原出来的固定字节序列。复算时要对这串字节做哈希,直接对重新格式化的 JSON 做哈希,结果可能会变。
这次拒绝对应一个常见工程问题。请求超时时,调用方可能没收到响应,但第一次请求已经写入数据、发出消息或完成付款。操作键把作业和首次提交的参数绑在一起,让参数发生变化的重试有明确的处理结果。文章展示的是参数冲突被拒绝这一条路径,同参数重试如何返回,以及服务端怎样保证实际副作用只发生一次,原文没有展开。
公开流让读者能抽查新生成的回执
写稿时,作者从公开的 /api/receipts/recent 取出一条刚生成的 leadsignal 回执。它的生成时间是 2026-11-19T08:36:12Z,ID 为 12a5c4df-e0ed-4594-9e3b-4e59ad4b2718。作者在同一次验证中复算了 838 字节的规范化数据,所得摘要与记录吻合。
作者还在 11 月 19 日 08:38 UTC 读取了 /api/stats。当时有 149,007 条公开回执,其中 718 条在当天记录。这是读取时的快照。公开接口的价值在于读者可以自己取样,回执数量本身无法说明记录质量。按原文介绍,Zambo 的作业回执采用 AER-1 格式,可免费验证。
我的判断
作者实测的是验签、文件摘要核对,以及两条回执的哈希复算。最值得借鉴的做法是明确记录每一步验到哪里。公钥指纹吻合,只说明公钥文件和公布的指纹一致。要确认这把密钥确实属于预期的发布者,还得看公钥或指纹是从哪个渠道拿到的。
同样,如果回执内容和 output_hash 都由同一个可改写的接口提供,复算一致只能确认这两份数据彼此吻合。要据此判断记录后来是否被改过,需要有先前留存的摘要或可独立核验的发布记录。拒绝回执里的 executed: false 也仍是系统记录的状态,要排查付款或写入到底有没有发生,应该核对对应的业务记录。
和日常 CI 相比,两者回答的是不同问题。CI 用来检查某个提交的行为是否满足断言,签名和摘要用来确认你查的是哪份记录。普通团队可以先让验收者从同一个提交重跑关键测试。在需要追查发布产物或重试副作用时,再补上签名、摘要或回执。作者没有给出对照数据来衡量这套做法能减少多少漏检,也没有比较维护成本。怎么取舍,仍然是工程经验。
能拿来做什么
- 让 Agent 交付前端改动时注明提交 SHA、测试命令和触发条件。验收者从该提交复跑关键用例,再按明确的路由、数据状态和视口检查截图覆盖的行为。
- 如果 Agent 生成了需要交付的 npm 包或前端构建产物,在 CI 产物记录里保存摘要。验收时对下载到的实际文件重新计算摘要,并写明哪些文件只能看到清单条目。
- 给会写库、发消息或触发付款的 Node 作业设计重试时,把作业 ID 和首次参数的摘要持久化。对参数冲突保留拒绝记录,并用业务记录检查有没有产生重复副作用。