Google新方法：在不泄露考题前提下评测Gemini

不断增长的数据集和公开基准测试正使得区分模型是否在从未见过的数据上进行测试变得愈发困难。

周四，Google DeepMind 展示了该公司所称的首次对专有前沿类 AI 模型进行的双重盲评（double-blind evaluation）。该设置让 Gemini 的模型权重对评估者保密，同时测试题目对 Google 保密。

此次试点用 Gemini 2.5 Flash Lite 对抗来自 MLCommons 和新加坡 AI Safety Institute 的私有基准测试，但 Google 并未用结果来吹捧新的 Gemini 分数，而是将重心放在测试的运行方式上——双方都无法访问对方的数据。

基准测试泄露推高分数

Google 的技术报告引用了早期研究，该研究发现，在测试的 31 个模型中，约有一半出现了基准测试泄露的迹象；另一项今年发表的研究则发现，污染会推高分数，大模型受影响尤为明显。这种动态已经引发了对某些后训练编程能力提升究竟从何而来的质疑。

保持基准测试私有似乎是显而易见的答案，但闭源模型使这变得困难。对于闭源模型，评估者通常必须通过提供商的 API 运行问题，这意味着公司可以看到本应保密的测试；而如果独立运行，则需要提供商交出其模型权重。Google 的设置旨在为双方提供另一种选择。

保持基准测试私有似乎是显而易见的答案，但闭源模型使这变得困难。

飞地是如何工作的

试点使用了 Google Cloud Confidential Space，配合 NVIDIA H100 Confidential GPU 和 Intel TDX 主机内存加密。

Google DeepMind 提供 Gemini 及其权重和推理代码，而评估者提供基准测试提示词和评估代码；这些通过加密连接传输到飞地中，评估在其中进行，任何一方都无法访问对方的受保护资产。

模型权重存储在硬件加密的 GPU 内存中，评估提示词也保存在加密的主机内存中。测试完成后，评估者获得允许的结果，然后可以销毁临时环境。

在任何一方发送其私有数据之前，远程认证（remote attestation）会验证飞地是否在运行双方约定的软件。

加密之外的代码控制

飞地保护的是存储在内存中的内容，但运行在其中的代码仍可能产生问题。例如，如果应用程序拥有不受限制的网络访问权限，它可以将敏感信息发送到其他地方。

OpenMined 的 PySyft 处理了这部分流程，允许 Google 和评估者预先批准代码，并阻止评估的敏感部分建立外部连接。

这个过程需要一些工作，但计算似乎不是问题所在。论文将额外开销控制在 5% 以下，反而指出组织之间的法律协议和代码审查是运行这些评估的更大障碍。

研究人员最终希望使认证变得不那么需要人工介入，将其目标比作浏览器中的 HTTPS 锁图标——安全检查在用户无需处理底层哈希和密钥的情况下自动完成。

Google 仍在验证中扮演一定角色，因为，尽管 Confidential Space 客户端操作系统是开源的且其构建流程已得到外部验证，但各个构建版本依赖于私有签名密钥，无法独立重现。同时，Google 自己的服务用于签名和验证认证报告。

论文将额外开销控制在 5% 以下，反而指出组织之间的法律协议和代码审查是运行这些评估的更大障碍。

因此，虽然该系统减少了两方需要相互信任的程度，但它并未将信任完全从等式中移除。其中一些只是转移到了其他地方，包括硬件本身。硬件本身仍然涉及某种信任，包括假设云提供商和硬件制造商没有联手规避这些保护措施。

然后是基准测试本身。MLCommons 指出，无论问题保护得多么妥善，它仍然需要谨慎管理。

试点在单块 H100 80GB Confidential GPU 上运行了 Gemini 2.5 Flash Lite。不过，研究人员已经在考虑通过加密链路连接的 H100 和 B200 GPU 集群，以最终评估无法在单块 GPU 上运行的模型。

如果这种方法流行起来，开发者可能有另一种方式来看穿基准测试分数，并获得模型背后的公司在结果出来之前没有看到测试的一些证明。

如果这种方法流行起来，基准测试分数可以提供一些证明，表明模型背后的公司没有先看到测试。