AWS 自然语言测试方案补齐团队管理

AWS 给基于 Amazon Nova Act 的 QA Studio 补上了两块团队能力：按应用查看测试健康状况，以及按团队管理访问权限。它要解决的是测试规模扩大后的管理问题：几百个测试分属不同产品和小组时，谁能看、谁能改、谁负责，都需要明确。

这一篇是系列第三部分。相比继续增加 AI 测试能力，作者把重点放在结果是否可信、权限是否可控上。对准备把自然语言测试接入团队流程的前端和全栈开发者，这些配套设计更值得参考。

测试通过率高，为什么还需要健康分？

前两篇已经搭好了执行链路：第一篇支持用自然语言编写测试，通过 AI 驱动的视觉导航执行；第二篇加入测试套件和命令行工具，让 CI/CD 能批量运行回归测试。第三篇开始处理多产品、多团队共用测试平台的情况。

作者引入的 application，代表被测的网站或 Web 应用前端。创建时填写名称、base URL，还可以配置 development、staging、production 等环境。用例和测试套件归入 application，并继承它的所有者。

每次执行都会作为自定义指标写入 Amazon CloudWatch，按 application 和环境区分。应用页面展示通过率、执行次数、当前失败项，以及一个 0 到 100 的健康分，起点是通过率，再对不稳定测试扣分。

这里的不稳定测试（flaky tests），指结果反复在通过和失败之间切换的测试。一次跑绿，并不能证明它可靠。健康分试图把这种不确定性暴露出来，但原文没有给出具体扣分公式。

页面提供两种趋势窗口：最近 7 天按小时展示，最近 30 天按天展示，也能筛选单个环境。不稳定测试视图按最近七天的结果翻转频率排列用例；最近失败列表则链接到 Nova Act trajectory logs 和会话录像，方便从统计数字追到执行过程。

跨团队共享时，权限到底听谁的？

每个 application 只属于一个团队。默认情况下，团队外的人看不到它；所有者团队可以按 view、execute、full 三档，把应用共享给其他团队。

用户还有五种累积式角色，权限逐级增加：

• Viewer 只能读取。
• Executor 可以执行测试，但不能修改。
• Editor 可以修改用例和测试套件。
• Team Lead 可以管理成员、创建应用。
• Admin 拥有整个 Studio 的访问权限。

角色与共享授权同时生效，最终取两者中较低的权限。例如，Viewer 即使拿到 full 共享授权，仍然只能读取。权限设置在 application 层，覆盖其中的测试，避免逐个用例维护授权。

后端也有相应校验。每个团队对应一组 Amazon Cognito groups，每种角色一个 group；AWS Lambda authorizer 在每次请求时，把组成员身份转换为 API scopes。团队、成员关系、所有权和共享授权保存在 DynamoDB。

后端既检查调用者的 scope，也检查其团队是否拥有应用或获得共享授权。

CI 流水线则可以使用机器身份认证，只授予运行所需的 scopes，不必复用个人账号的完整权限。

我的判断

我认同它把「执行成功」和「测试可靠」分开看。对于依赖视觉导航的测试，保留失败轨迹和录像，也比只有一个红色状态更有排查价值。不过，结果反复翻转可能来自测试本身、环境波动或产品问题，翻转榜只能提供调查线索，不能直接判定原因。

健康分也需要保留问号。原文没有给出扣分权重、样本量处理方式，也没有与单看通过率的做法进行对照。它目前更像一个管理指标设计，不能据此认定评分已经准确反映应用质量。文中同样没有给出测试准确率、维护成本或团队效率改善的实测数据。

权限方案则有清楚的适用前提：多个团队确实需要共用一套测试平台。相比各团队独立部署，它方便集中管理和受控共享，但也增加了身份、授权与归属关系的维护工作。小团队未必需要一次配齐。

另外，QA Studio 是部署到自有 AWS 账户的参考方案，使用 AWS Cloud Development Kit 部署。作者称测试数据、结果和指标留在该账户内，但原文没有报价，也没有说明完整运维成本。采用前仍需自行评估。

能拿来做什么

• 如果前端回归测试已经覆盖多个产品，可以参考 application 的划分方式，把用例、套件、环境和负责人放在同一个管理边界内。
• 排查偶发失败时，可以同时查看最近七天的翻转频率、执行轨迹和录像，先定位失败原因，再决定修改测试还是修复应用。
• 为 CI 配置独立机器身份，只授予执行所需的 scopes，并在后端同时校验操作权限和应用归属。
• 评估 QA Studio 时，先用有限用例验证视觉导航是否适合自己的页面，再核算 AWS 资源与维护成本；原文尚不足以支持全面替换现有测试方案。