用 Stripe 基准测出 AI 写支付代码的漏洞
Stripe 在 69 个支付场景中测试了 14 种模型与运行框架组合,平均满足 78.1% 的评估项,只有 29.4% 的运行通过全部必选项。教程介绍如何用开源框架 Forge 复测自己的编码 Agent,并解读这两项指标。
AI 深度解读
Stripe 用 69 个支付场景测了 14 种模型与编程工具组合。不装插件时,Agent 平均满足 78.1% 的评分条目,但只有 29.4% 的运行通过了全部必选项。一次结账演示走通,可能掩盖退款后仍然发货这样的错误。
作者用开源工具 Forge 验证了样例配置,也拆解了 Stripe 的正式评测。平时让 AI 写支付代码的团队,可以从中拿走一套评审方法:把每条会影响扣款、发货和分账的业务规则单独验收,再用项目里的测试确认代码实际怎么跑。
平均分有 78.1%,为什么严格通过率只有 29.4%?
两个数字回答的问题不同。「集成成功率」对 MUST(必选)和 SHOULD(推荐)逐条给分。一道题有 7 条 MUST 和 1 条 SHOULD,Agent 做对 6 条,得分就是 75%。严格通过率按整次运行算,只要漏掉一条 MUST,这次就算失败。78.1% 和 29.4% 来自同一批未装插件的运行,差距在于漏掉的条目能不能用其他条目的得分补回来。
人工风控复核那道题最能说明这个差别。payments-radar-review-fulfillment 有 8 条 MUST,其中两条要求只有在权威复核结果为批准、且订单和付款仍符合履约条件时才放行,并且不能把每个 review.closed 事件都当成批准。Opus 5.5 只检查了 PaymentIntent.status === 'succeeded'。这个判断可以让正常付款的演示顺利走完,却没覆盖付款成功之后又发生退款或争议的情况。
Stripe 用多轮对话来模拟需求逐步补全。扮演开发者的 Ava 从场景中提炼 2 到 4 个私有需求,每次只追问一个,不写代码,也看不到评分表。编程 Agent 在隔离工作区里使用平时的工具和网页搜索,每道题最多跑 45 分钟。裁判只看对话记录和工作区快照,并按 RFC 2119 的 MUST、SHOULD 逐项判断。Forge 还支持记录不计分的 OPTIONAL。
69 道题包括 24 道一次性支付、26 道订阅和 19 道 Connect 平台支付。Claude Code、Codex、OpenCode 共覆盖 14 种组合,模型从 Haiku 5.5 到 GPT-6 Astra。每种组合在有、无插件两组各跑每道题两次,共 276 次。2026 年 3 月那轮只有 11 个环境,「Opus 4.5 得 92%」来自那轮。11 月 19 日公开的是扩展后的评测,数字要按各自的口径读。
用 Forge 跑一题,先看哪份结果?
Forge 采用 Apache-2.0 许可。样例需要 Node.js 22.13 或更新版本和 pnpm 11.6.0。克隆命令是 git clone https://github.com/stripe/forge.git,进目录后按需执行 corepack enable,再跑 pnpm install --frozen-lockfile 和 pnpm build。作者在 Node 24 上遇到 Corepack 没提供 pnpm 的情况,用 npm install -g pnpm@11.6.0 解决,构建用时不到一分钟。
下面这条命令只校验实验配置,免费,也无需密钥或 Docker。
node dist/cli.js validate --experiment release/experiment.yaml
看输出里的 "valid":true 和 "run_count":1。样例锁定数据集 1.0.0、实验 0.5.0,用 Claude Code 的 claude-sonnet-4-6 跑一题 payments-onetime,也就是 Stripe 托管的 Checkout。作者亲自验证到这里,文章里的正式评分都来自 Stripe。
正式运行需要能跑 linux/amd64 容器的 Docker,以及给 Claude Code 用的 Anthropic API key 和给 Ava、裁判用的 OpenAI API key。设置 ANTHROPIC_API_KEY 和 OPENAI_API_KEY 后,下面的命令会运行样例并保存摘要。
node dist/cli.js run \
--experiment release/experiment.yaml \
--credential-env ANTHROPIC_API_KEY \
--credential-env OPENAI_API_KEY \
--output ./results --run-id payments-001 > run-summary.json
两行 --credential-env 决定 Forge 可以读取哪些环境变量。首次运行需要联网构建 Docker 镜像,进度走 stderr。退出码 0 表示报告已保存,是否通过要读报告。用 jq 查看单次 result.json 的 evaluation,能看到每条判定和理由。汇总 report.json 可以先扫 completed、errored、judge_errors,再结合 pass_rate 和 criterion_scores 看严格结果与失分条目。Stripe 公布的单次成本为 $0.05 到 $6.13,耗时约 5 到 28 分钟。
插件提升了什么,哪些题依然难做?
插件把 Stripe 编写的 skills 和 MCP 工具交给 Agent,支持实现规划、文档搜索和 API 查询。14 种组合的平均分都提高了 2.7 到 7.9 个百分点。API 调用中的过时参数占比从 7% 降到 1.3%。Stripe 给出的例子里,GPT-6.1 Sol 原先写已移除的 payment_method_types: ['card'],装插件后改用 automatic_payment_methods: { enabled: true },启用 Dynamic Payment Methods。
每题网页搜索从 1.26 次降到 0.05 次,降幅 96%,页面抓取少了 63%。工具调用则因模型而异,Fable 5.1 增加 53%,Gemini 3.8 Flash 减少 26%。Agent 写的测试代码行数约少 40%,运行测试的比例从 53% 降到 42%。这些数据只记录行为变化,无法说明少写测试会使集成更可靠。
装插件后,GPT-6 Astra 的严格通过率为 52.9%,GPT-6.1 Sol 为 50.7%,Claude Code 排第一的 Fable 5.2 为 43.2%。一次性支付整体表现最好,Connect 从插件获得的提升最大,订阅对几乎所有组合都最难。订阅表里 Sol 的 84% 和 GLM 5.3 的 56% 是平均分。价格也很难单独拿来选模型。GPT-6 Luna 的 $0.05 是无插件成本,29.1% 是装插件后的严格通过率。Fable 5.1 装插件后每次 $6.13,严格通过率为 36.4%。最慢的 Minimax M3.1 Flash 每题约 28 分钟,成绩处于中游。
我的判断
我认同把 MUST 做成硬门槛,尤其是订阅和履约状态这种需要跨事件判断的流程。原文把严格通过率称作生产表现的预测指标,但没有给出它与线上事故率的对照数据。Forge 在会话结束后不会运行生成的代码,确定性检查主要覆盖文件、正则匹配以及工具调用的名称和参数。比如 Node 项目的 Webhook 验签会不会受框架请求体解析影响,得靠项目里的运行时测试确认。
裁判本身也是模型。Stripe 用 GPT-6.1 Sol 同时扮演 Ava 和裁判,再用 Opus 复评。两组评分走势一致,Opus 普遍更宽松。这给排名提供了一次交叉检查,单次判定仍可能波动,可以用 forge regrade 复评保存的证据。作者主张所有 Agent 编写的真实支付代码上线前都跑 Forge,这是经验判断。对于已有逐行审查和项目级集成测试的团队,Forge 的额外价值是比较模型、插件以及多轮需求下的实现表现。现成的 69 题都围绕 Stripe,迁移到其他业务时,能复用的是出题和评分方法。
能拿来做什么
- 给 AI 生成的支付 PR 写几条独立的 MUST。比如人工复核关闭后,只有复核获批且订单仍可履约时才放行,再用现有测试覆盖退款或争议后的路径。
- 想比较插件效果,先校验样例,再用同一模型跑同一道题。在实验矩阵中并列
baseline和stripe-plugin,后者通过forge/plugin安装stripe。它会拉取未锁版本的stripe@claude-plugins-official,分享分数时一并记录运行日期。 - 更换模型或编程工具时,从团队常改的一条支付链路开始复测。先看哪条 MUST 反复失败,再决定要补需求提示、改实现,还是加一条项目级测试。