模型同质化时代：选型逻辑已变，护城河在模型之外

模型的趋同与信任的缺失

来自 Harness Layer 的实地笔记。

模型正在变得相同

两年前，选择模型感觉是整个技术栈中最重要的决策。最佳前沿模型与紧随其后的几个竞争者之间的差距足够大，以至于你必须围绕它来进行架构设计。团队选择提供商的方式，就和他们曾经选择数据库的方式一样——因为这个选择会塑造建立在其之上的一切。

那个时代正在终结。截至 2026 年中期，人们实际引用的排行榜，如 LMArena 和 Artificial Analysis，显示顶部的集群之间只有几分之差，而且这个集群还在不断变得更加密集。每家实验室都在推出推理能力。每家实验室都在推出工具调用。2024 年和 2025 年间，API 价格下降了大约一个数量级，此后仍在持续下降。开源权重模型与前沿模型的差距现在以月计，而非以代计。

这些都不再有什么争议。有趣的是它对技术栈其余部分的影响。

仅供说明，非数据。图形即论点。

当模型变得可互换时，模型本身就不再是产品。一个任务如果在一个前沿模型上失败，通常也会以相同方式在其他前沿模型上失败，因为问题从来不在权重上。而在权重周围的一切。真正的差距仍然存在，主要在长上下文、代表性不足的语言以及工具调用可靠性方面——但分布的中心已经收敛。

在专职构建 Agent 循环的人群中流传着一种框架：在任何 Agent 循环中，验证器是瓶颈，而非模型。

逻辑一旦你观察到一个循环运行就变得显而易见。生成是廉价的，而且可以无限运转，因此一个循环产生价值的速度取决于某物能够多快地判断是交付输出、重试步骤还是完全停止。Andrew Ng 关于 Agentic 设计模式的信件将反思——即模型检查自身工作的实践——置于 Agent 工程的核心位置。Karpathy 的 Software 3.0 主题演讲将整个学科框架为将快速生成与快速验证连接起来。从事循环工程的从业者不断从不同方向抵达同一个关卡。

单 Agent 团队已经吸收了这个教训。他们编写 evals、添加裁判，并约束输出模式。这是一项艰苦的工作，但也是被理解的工作。

现在再往上一个层级，那里是行业实际前进的方向。目的地不是一个处于循环中的 Agent，而是来自多个供应商的多个 Agent，使用不同协议，被组合成单一目标。而当你仔细审视那幅图时，你会注意到关于信任的部分没有任何进展。

收敛没有触及的部分

观察一次真正的多 Agent 运行，信任故事在熟悉的地方崩溃：

计划漂移。计划在第一步时有意义。到第四步时上下文已经转移，一个中间结果被误读，剩余的步骤正在自信地执行着一个已不存在的目标。没有人注意到，因为没有任何东西在运行中间将计划与现实进行核对。

调用路由错误。Agent 选择了看似合理的工具而非正确的工具。有三个工具时，这是一个 prompt 问题。有三十个跨网络注册的能力时，它就变成了一个检索问题，而许多技术栈仍在通过将所有东西塞进上下文并祈祷最好的结果来解决问题。

身份是一种感觉。哪个 Agent 行动了，依据什么权限，声明了什么范围？协议级别的授权和作用域令牌开始出现，但在大多数技术栈中诚实的答案仍然是"prompt 里说的那个"。如果一个 Agent 超出了它被允许的范围，没有合同可以指向。只有一份记录可以争论。

输出蒸发。运行以一段文字结束。聊天气泡无法对照模式进行检查、无法在运行之间进行对比，也无法在生产环境中监控。它是我们行业大规模部署过的最难以验证的格式，而它却是默认格式。

不同的团队、不同的框架，同样的四个失败。模型收敛了。使得运行可信的那一层没有收敛，因为它几乎不存在。

记录不是证据

这是我一直在思考的思想实验。一个 Agent 运行在夜间执行了某些重大任务：在账户之间转移资金、提交文件，或更改基础设施。第二天早上你问一个显而易见的问题：它做了它应该做的事吗？

你实际上有什么来回答这个问题？

你有一份记录。它是消息的日志，最好的情况是包含内联的 tool calls，而且它是由你试图检查的同一个系统生成的。你无法独立验证它。你无法将它交给第三方并让他们确认任何事情。你无法将昨晚的运行与上周的运行进行对比。你被要求相信叙述者，而叙述者就是嫌疑人。

其他每一个成熟的工程领域都已经构建了它们的答案版本。航空业不相信飞行员的回忆，因此保留了飞行记录器，调查人员无需询问航空公司即可读取。金融业不相信交易员的终端，因此保留了双方可以对账的清算记录。软件供应链不再信任构建声明，开始要求来源证明。

Agent 运行没有任何等价物。可观测性工具存在并且在不断改进，traces、spans 和 dashboards 确实有用。但 trace 仍然是由你正在检查的系统生成的，存储在你正在支付的供应商那里，只能通过重新登录两者来查看。作为独立可检查的证据，2026 年的最新技术是一张聊天窗口的截图。

一个信任层应该长什么样

在这个差距上待得足够久，有些属性开始感觉是不可妥协的。我将提出我的一套，以第一篇实地笔记的精神作为草案：

输出即契约。结果以结构化的、经过模式检查的格式返回，这样"它是否有效"就变成了一个可检查的问题，而非阅读理解练习。纯文本在必要时仍然可以通过，但文本是例外而非接口。

身份和范围作为数据。每个执行者都携带可验证的身份和声明的权限范围，并且该范围在编排时被检查，而非从 prompt 中假设。

承认自身局限的验证。结构性检查和语义判断是两回事。问"这是格式正确的、非空的、符合契约的吗"与问"这实际上是正确的吗"不是同一件事。一个可信的系统精确地说明它应用了哪种检查，而非暗示它并不具备的判断能力。

证据，而非记录。一次完成的运行应该导出一个第三方可以独立检查的东西。证据的检验标准很简单：验证不能要求调用生成它的系统。签名证据仍然需要锚定在某个地方，因为必须有人回答它是谁的密钥、在什么身份下签的名。这就是为什么属性二承载如此大的权重。

注意这份清单上没有的是什么：一个更好的模型。这里的每个属性都是编排、契约设计和验证工程。这不是巧合。这是诚实应用收敛论证的结果。

第一篇实地笔记以询问什么属于 harness 层结束。这篇以更尖锐的版本结束：

什么样的证据才能让你信任一个你没有亲眼目睹的 Agent 运行？

不是"什么样的仪表盘能让你安心。"是证据。是你自己可以检查的、可以展示给他人的、在运行至关重要时能够依赖的东西。我一直在梳理一套答案，而我怀疑有趣的争议在属性四。你的答案是什么，我很想知道。

Sources and further reading:

LMArena leaderboard and Artificial Analysis: the clustering at the top of the frontier, tracked continuously

Can MCP, A2A, and LangGraph share and compose a single verified runtime?: the three boundaries, and why composing them is the open problem

Andrew Ng, Agentic Design Patterns letters, The Batch, 2024: reflection and self-checking loops as first-class agent patterns

Andrej Karpathy, Software Is Changing (Again), YC AI Startup School, 2025: generation wired to verification as the shape of the craft