让 AI 按安全约束写测试
AI 根据现有实现生成的测试容易固化当前行为,即使测试通过、覆盖率提高,也可能漏掉安全约束。文中以多租户发票接口为例,说明只验证本租户能查到数据,无法证明其他租户的数据不会泄露。
AI 深度解读
让 AI 给接口补测试,最容易拿到的是一份能跑、全绿、覆盖率还涨了的 PR。可如果模型先读实现,再决定测试该断言什么,它也可能把代码里的盲区照搬进测试。多租户账单就是个例子:即使租户过滤被删掉,只准备了一家租户数据的测试依然会通过。
作者建议先写下接口必须守住的规则,再让 AI 补正常、异常和边界用例,最后用变异测试检验这些用例真能抓住回归。对前端和全栈开发者来说,这也是一个实用的审查顺序:先看数据怎么造、断言在保护什么,再看覆盖率。
为什么删掉租户过滤,测试还是绿的
原文用一个假设的多租户账单接口举例。get_invoices(user, db) 用 .filter(Invoice.tenant_id == user.tenant_id) 限定查询范围。下面这段测试验证当前用户能拿到准备好的 3 条账单。
def test_get_invoices_returns_user_invoices(user, db):
seed_invoices(db, tenant_id=user.tenant_id, count=3)
assert len(get_invoices(user, db)) == 3
盲区在 seed_invoices(...) 那一行。库里只有当前租户的账单,删掉 .filter(...) 后查全表,结果也还是 3 条。覆盖率可以告诉你这段查询跑过了,却回答不了测试能否察觉租户隔离失效。
响应字段也有同样的问题。断言里有姓名和邮箱,只证明该返回的字段出现了。序列化器如果在重构后多返回了 ssn、password_hash 或 internal_notes,原来的断言照样通过。再给正常请求换几组参数,也补不上缺失令牌、过期令牌、其他租户的令牌、归属他人的 ID、空列表,或者超过分页上限 1 条这些用例。
先把接口承诺写清楚,再让 AI 补用例
作者把这些承诺叫作不变量(invariant),也就是无论底层实现怎么改,都必须成立的规则。比如用户只能读取自己租户的记录,未授权请求不能改变受保护状态,缺少权限的调用者不能收到敏感字段。规则来自产品需求和威胁模型。先把它们交给 AI,模型才知道该造哪些数据、该断言哪些结果。
下面用 pytest.mark.parametrize 给 GET /invoices 换五种调用身份,并通过 two_tenant_db 准备两个租户的数据。
@pytest.mark.parametrize("caller", [
"same_tenant_user",
"other_tenant_user",
"anonymous",
"expired_token",
"admin_of_other_tenant",
])
def test_invoices_never_cross_tenants(caller, two_tenant_db, make_client):
client = make_client(caller)
resp = client.get("/invoices")
returned = {inv["tenant_id"] for inv in resp.json().get("items", [])}
assert returned <= {client.tenant_id}
最后一行的 <= 检查集合包含关系,返回账单的租户只能落在当前调用者所属的租户内。按作者描述,移除租户过滤后,same_tenant_user 会收到两个租户的记录,这条断言就会失败。
让测试跑红一次,才能看出它在保护什么
变异测试(mutation testing)会自动对代码做小改动,比如翻转比较条件或移除某个条件,再重跑测试。改动后测试仍全绿,这个变异就算「存活」,说明现有断言没发现这次行为变化。
原文列了 mutmut(Python)、Stryker(JS/TS、C#)和 PIT(Java)。作者建议先把范围放在权限检查、租户过滤和序列化器上。一个存活在 check_permission() 里的变异,比日志辅助函数里一百个存活变异更值得先看。这个比较表达的是排查优先级,原文没有提供实测数据。
我的判断
我认可先写规则的顺序。评审时,产品和后端可以先对齐谁能访问什么、越权时接口应返回什么,再看 AI 生成的夹具和断言。让模型读实现后补测试也有用,尤其适合记录已有行为,但安全边界需要有独立于实现的预期。原文给的是示意代码和经验判断,没有真实项目的对照结果,无法据此判断漏检率能降多少。
原文的参数化样例还漏了一层。resp.json().get("items", []) 会把缺少 items 的 JSON 响应当作空列表,空集合会通过最后的断言。于是合法用户拿不到任何账单也可能过关,匿名和过期令牌用例也没有验证接口是否按约定拒绝请求。五种身份扩大了输入范围,但每种身份该成功还是该被拒绝,仍要由接口契约决定。
能拿来做什么
- 给 AI 写接口测试任务时,先交代调用身份、数据归属和预期结果。比如测试 Node 账单接口时,夹具同时放入两个租户的记录,并校验合法请求确实拿到了属于自己的账单。
- 审查前端依赖的 API 响应时,给低权限调用者补上敏感字段缺失断言。对匿名和过期令牌分别校验接口约定的状态码和响应体。
- 给已有的 JS/TS 服务试跑
Stryker时,先选一处权限判断或租户过滤。遇到存活变异,回头看测试数据是否覆盖了两种情况,以及断言能否区分它们。