固定探针可能让模型 API 验真失效
文章指出,服务商可能识别固定指纹请求并将其路由至宣称的模型,而让普通请求使用其他模型。固定文本、特殊格式和可预测输出都可能暴露测试身份,因此评估协议需要考虑请求被识别的风险。
AI 深度解读
给 AI API 发一道固定题,回答像目标模型,就能证明服务商交付了这个模型吗?作者提出了一个漏洞:服务商可能认出测试请求,把它交给宣称的模型,普通业务请求却走另一套部署。测试通过,用户拿到的服务仍可能不同。
作者围绕 Oken 的评估流程,提出了更难被针对的黑盒测试方案:换题面、换请求形态、加入当天对照,并反复测量。值得读的不是某个鉴定技巧,而是如何把「看起来像」变成有条件、可追溯的行为证据。
为什么固定测试通过了,仍然不能放心
模型指纹测试,是通过输出特征判断一个接口的行为更接近哪个参考模型。它适合无法查看部署日志、模型文件和路由记录的场景,但有个前提:测试请求得到的待遇,应该能代表业务请求。
固定探针很容易暴露自己。提示词长期不变、输出长度可预测、数值范围固定、响应格式特殊,都可能成为服务商识别测试的线索。请求结构与日常业务差别越大,识别起来越容易。
这里说的是一种可能的攻击方式。原文没有展示某家服务商实际这样做的证据,也没有给出识别成功率。
作者的第一项改进,是每轮生成新的探针内容。例如,让模型生成整数序列时,改变提示词措辞、格式要求、等价任务描述和提示词位置,同时继续测量数值偏好、相邻数值变化幅度、局部序列结构。
题面可以换,衡量的东西要保持稳定。否则一次改变同时影响了测试特征和识别难度,结果就难以解释。
新探针的价值是提高识别测试的成本,不能保证服务商无法识别。
同一道题,要放进两种请求里反复测
只换提示词还不够。服务商还可能根据请求能力、应用专用请求头等信息做路由。
作者建议把语义相同的探针分别放进两种请求中:一种使用最简测试请求,另一种带上正常的 system prompt 和普通业务元数据,使其接近生产调用。然后比较两种请求的行为是否持续分化。
例如,最简请求更像参考模型 A,生产形态的请求更像参考模型 B,这就值得调查。但它不能直接证明服务商切换了模型。system prompt 会改变指令遵循,工具定义会改变上下文,streaming 也可能影响生成或后处理。
因此,真正要比较的不是两次回答有没有区别。独立生成原本就会不同。
需要观察的是:请求形态之间的差异,是否比同一种形态自身的正常波动更大,而且能否稳定复现。
作者提出,对新探针 1、2、3 分别做成对测试,记录同形态内的波动、不同形态间的差异、与可信参考的距离,以及差异是否只出现在某种措辞下、能否跨时间持续出现。这比拿两份输出直接下结论更可靠。
参考库会过时,鉴定结果也会抖动
即使待测接口偏离了历史参考库,也存在多种解释:服务商替换模型、调整推理配置、模型自身更新、参考库陈旧、测试协议变化,或者接口本来就不稳定。
作者为此引入「同日可信对照」:当天用同一套协议,调用另一个被信任、提供所宣称模型的接口。把待测接口、当天对照、历史参考放在一起看,才能区分几类变化:
- 待测接口变化而当天对照稳定,更符合服务商侧路由或配置变化。
- 两者相对历史参考向相似方向移动,更符合共同的模型漂移。
- 两者在重复测试中都大幅波动,应该先检查探针、采样和测试配置。
「可信」也需要依据,至少要保留参考库版本和响应哈希。原文没有详细解释如何验证对照接口的模型身份,这仍是方案的前提。
重复测量同样重要。作者举例,同一接口短时间内三次测试,最近候选依次为 Model A、Model A、Model B。这可能来自采样波动、探针长度不足、配置不一致、参考库不全,也可能是混合部署。排名变化本身就是证据,不能只挑最有把握的一次展示。
下面是原文给出的结果记录示例,用来保存结论及其条件,数值不是公开实测成绩:
{
"provider_asserted_model": "model-a",
"top_reference_match": "model-a",
"closed_set_probability": 0.94,
"absolute_compatibility": 0.81,
"request_shape": "production_like",
"trusted_control_status": "passed",
"test_retest_spread": 0.07,
"detector_version": "detector-1.2.0",
"reference_bank_version": "bank-2026-11-01",
"calibration_version": "calibration-2026-11-02",
"decision": "behaviorally_consistent"
}
要看 closed_set_probability 和 absolute_compatibility 两行:候选集合里排名很靠前,与样本绝对兼容程度很高,是两个问题。原文没有交代这些指标的计算与校准方法,不能把 0.94 理解成服务端有 94% 的概率部署了该模型。
另一份示例说明,候选排名和兼容程度应该一起报告:
{
"provider_asserted_model": "model-a",
"top_reference_match": "model-b",
"closed_set_probability": 0.88,
"absolute_compatibility": 0.42,
"request_shape": "production_like",
"trusted_control_status": "passed",
"test_retest_spread": 0.31,
"decision": "requires_investigation"
}
这里要关注最后的 requires_investigation:即使第一候选变成 model-b,也只是进入调查,不能直接宣布身份鉴定完成。0.31 的重复测试离散度也需要解释,但原文没有给出明确阈值。
我的判断
我认同作者把重点放在对照和复测上。相比一次固定提示词鉴定,这套方案能更好地区分「请求形态影响」「模型共同变化」和「测量自身不稳定」,也更适合持续比较 API 服务商。
但它仍是一套方法建议。原文没有提供固定探针与新探针的对照数据,没有量化识别难度提高了多少,也没有公布足够的信息来复现评分。对有效性的判断,目前只能停留在方法逻辑层面。
还有一个实际难点:生产请求越真实,干扰因素越多。system prompt、工具定义等内容既可能触发不同路由,也可能直接改变同一个模型的输出。一般团队需要分步改变条件,才能逐渐缩小原因范围,调用成本也会增加。
Oken 是作者讨论的平台,文章也披露了这种关联。其行为相似度结果可以帮助筛查异常,却不构成服务端模型身份的密码学证明。即便跨多个 API key 或会话、跨时间都复现差异,结论仍应描述观察到的模式。
这类测试适合回答「这个接口是否值得继续调查」,不足以独立回答「服务商内部究竟部署了什么」。
能拿来做什么
- 比较 AI API 服务商时,把最简请求与应用真实的 system prompt、请求元数据配成两组,用多份新探针反复测试,检查差异能否稳定出现。
- 在 Node 调用脚本中保存请求形态、响应哈希、测试时间及检测器、参考库、校准版本,让后续比较有可追溯的依据。
- 为日常 AI 编程所用接口建立行为基线。发现输出风格或质量变化后,用同日可信接口复测,再判断是否只是共同漂移。
- 写评估报告时,同时保留候选排名、兼容程度、分数差距、响应质量和复测间隔;证据不足时明确标记需要调查。