让 AI 写测试前,先交代仓库现有夹具
AI 从零生成 Playwright 测试容易重复登录流程、硬编码账号,并绕过仓库已有的认证、数据初始化与导航助手。文章建议让新测试沿用项目夹具模块及共享配置,将这些约定纳入生成要求。
AI 深度解读
AI 给项目补了一个 Playwright 测试,断言写对了,代码却未必合格:仓库已有登录 fixture、导航 helper 和用户 seed,它却重新填写登录表单,连测试账号都自己编了。
作者的核心判断是:已有 helper 是测试契约的一部分,绕过它的测试仍然不完整。 这篇短文值得看的地方,是把 AI 写测试的验收标准从「最后断言对不对」,推进到「有没有遵守仓库已有的测试约定」。
为什么断言正确,测试还是不合格
原文从一个具体问题切入:agent 新增 settings.spec.ts,自行调用 page.goto('/login'),硬编码邮箱,再完整填写登录表单。
但仓库已经准备好了三样东西:通过 test.extend 实现的认证 fixture、gotoSettings() 导航 helper,以及创建用户的 seed。新测试重复实现了这些准备工作,结果运行更慢,在登录页出现偶发失败,还绕过了 CI secret 对应的测试账号。
fixture 可以理解为测试运行前统一准备的环境和能力。它管理的可能不只是登录,还包括 feature flags、Cookie 同意状态、locale,以及团队统一的 viewport。跳过 fixture,新测试的起点就可能与其他测试不同。
作者解释,模型容易这样写,是因为公开的 Playwright 示例通常从 page.goto 开始。模型不读项目里的 tests/fixtures,也能拼出一份看似完整的测试;而项目自定义的 fixture 名称各异,容易被忽略。
随后还有维护问题:模型可能自行编造登录页选择器,遇到表单调整就失效,也可能把示例密码提交进仓库。
给 agent 的应当是现成入口和明确边界
作者给出的规则并不复杂:如果仓库通过 fixture 模块封装了 test 和 expect,新测试就沿用这套导入方式;复用认证、seed 和导航 helper;不要在 spec 中硬编码凭据。
确实遇到新流程,可以增加 helper。需要复用时,把它放到已有 helper 旁边,避免在 spec 内再塞一套准备步骤。
原文没有给出测试实现代码,最值得保留的是这段可以直接交给 agent 的提示词,它把复用入口、禁止事项和导入约定写在了一起:
Use the existing Playwright fixtures in tests/e2e/fixtures.ts (authenticatedPage, gotoSettings, seedUser).
Do not write a new login flow or hard-code credentials.
Import test/expect the same way the neighboring specs do.
Add a helper next to the others if this flow will be reused; do not inline a one-off goto+fill for setup.
重点看第三行:导入方式要参照相邻 spec。只告诉模型「使用 Playwright」,不足以让它知道这个仓库如何使用 Playwright。
作者还建议贴上一份相邻 spec 和 fixture 类型,让模型同时看到用法与接口。审查 diff 时,则搜索 page.goto('/login')、fill('#password'),以及仓库已有封装时仍直接从 @playwright/test 导入的代码。
检查范围也包括测试层级。如果这个界面已有 Cypress 或 Testing Library 流程,或者仓库优先使用组件测试,就应该沿用现有方案。不能因为 agent 会写 Playwright,就为一次改动再引入重复流程,甚至单独创建第二份 Playwright config。
我的判断
我赞同把「是否复用仓库约定」纳入 AI 测试验收。对于只想验证设置页某个行为的测试,重复经过登录页,会让登录流程的故障干扰设置页结果。共享 fixture 还能让账号、环境和初始化方式集中维护。
但原文没有给出耗时对比、失败率或样本数量。「更慢、容易偶发失败」是作者描述的案例结果,不能据此推算其他团队能改善多少。
这套做法也有前提:现有 fixture 必须适合当前场景。若测试目标就是登录表单,填写登录 UI 当然可能是必要步骤;若 fixture 本身隐藏了过多状态,复用也需要先读懂它。原文没有展开这些边界。
最实用的经验是:把项目已有的正确写法交给模型,再要求它沿用。 相比笼统要求「遵循最佳实践」,具体文件路径、相邻 spec 和类型更容易形成可检查的约束。
能拿来做什么
- 给前端项目生成 E2E 测试时,把 fixture 路径、可用 helper、相邻 spec 和 fixture 类型一起放进上下文,并明确禁止另写登录准备流程。
- 审查 AI 生成的测试时,先核对账号来源、环境准备和导入方式,再看业务断言;把登录路径、密码填写和直接导入作为重点搜索项。
- 新流程需要复用时,把准备逻辑补进现有 helper 模块;如果仓库已有组件测试或其他 runner 承担这一层验证,就让 agent 沿用该测试层级。