GPT-5.6 成本效率最优化，能自我降本

我们很高兴你来到这里。每周一至周五，你都会收到 TNS 最优质的内容，及时掌握最新消息，始终保持最佳状态。

请查收收件箱中的确认邮件，你可以在其中调整偏好设置，甚至加入更多群组。

在你喜爱的社交媒体平台上关注 TNS。

在 LinkedIn 上关注 TNS。

在等待第一封 TNS 新闻简报期间，不妨浏览最新的精选文章和热门报道。

OpenAI 详细介绍了 GPT-5.6 模型家族如何在整个技术栈中平衡能力与成本。该公司最重要的一项主张来自基准测试结果：在启用最高推理强度的情况下，其旗舰模型 GPT-5.6 Sol 在 Artificial Analysis Coding Agent Index 上的表现超过了 Anthropic 的 Claude Fable 5，而输出 token 数量减少了 54%。这些结果于周三发布在该公司的一篇博客文章中。

对开发者而言，最值得关注的是 OpenAI 如何得出这些基准测试结果，以及 GPT-5.6 Sol 在优化当前承载其运行的基础设施时发挥了什么作用。

该家族包含三款处于不同价格区间的模型。除 Sol 外，还有 Terra，其在智能基准测试中的表现与 GPT-5.5 相当，价格却只有后者的一半；以及速度最快、价格最低的 Luna，其定价比 Sol 低 80%。

这些效率提升来自四个层面的优化，涵盖模型、推理、API 技术栈，以及 Codex 和 ChatGPT Work 背后的 Agent harness。

根据 The New Stack 在文章发布前审阅的内容，这些效率提升来自四个层面的优化：模型、推理、API 技术栈，以及 Codex 和 ChatGPT Work 背后的 Agent harness。文章中的架构图又将其划分为三个平面：本地 harness、受 CPU 限制的 API 编排，以及受 GPU 限制的模型推理。

对于构建和运营 Agent 的开发者而言，这篇文章与其说是一则产品公告，不如说是一篇系统论文。文中描述的几乎每一种技术，从增量 tokenization 到仅追加上下文，都适用于任何大规模运行工具调用循环的团队。

一个重写自身服务代码的模型

效率优化从训练阶段开始。OpenAI 表示，GPT-5.6 经过训练，能够用每个 token 完成更多工作；其训练过程同时针对任务成功率和效率进行优化，让模型能够沿着更直接的路径完成任务。

借助 Codex，GPT-5.6 Sol 自主重写并优化了 OpenAI 的生产环境 kernel，也就是执行构成模型的数学运算的核心代码。OpenAI 表示，这项工作能够成功，部分原因在于 GPT-5.6 接受过使用 Triton 和 Gluon 编写及改进 kernel 的训练。两者都是由 OpenAI 维护的开源 GPU 编程语言。这些工作与模型带来的其他 kernel 改进相结合，使端到端服务成本降低了 20%。

当模型重写自己赖以运行的代码时，正确性显然是首要问题。为此，OpenAI 表示在验证工具上投入了大量资源，其中包括开源的 Floating-Point Sanitizer（FpSan），它会在 GPT-5.6 Sol 生成的 kernel 进入生产环境之前对其进行验证。

该模型还进一步参与了 speculative decoding。这项技术由一个较小的 draft model 提出若干 token，再由主模型并行验证。对于了解现代 CPU 如何在分支之前推测执行指令的人来说，这种方法并不陌生。被接受的候选结果能够通过主模型的一次运行生成多个输出 token，从而减少主模型原本需要执行的昂贵串行计算。

Codex 中的 GPT-5.6 Sol 通过设计并运行数百项架构实验，改进了自己的 draft model，测试范围涵盖模型大小、结构和特性等方面的变化。该模型还启动并监控了 speculative training 流程。当硬件发生故障或训练变得不稳定时，它会自主介入。OpenAI 表示，由此产生的改进让 token 生成效率提升了 15% 以上。

用相同的 GPU 生成更多 token

OpenAI 将推理优化归结为一个目标：在保持用户所期望的智能水平、延迟、可用性和可靠性的同时，使用相同的硬件提供更多 token。在需求增长速度超过算力容量的受限市场中，这一目标影响着服务路径中的每一项设计决策。

负载均衡分为三个不同层级。全局层面会根据地理位置、可用容量和加速器类型路由请求；集群内部会根据负载、上下文长度和缓存可用性，将工作分配给不同的模型实例；每个实例内部则会在加速器、模型的 experts 和计算核心之间划分工作。Codex 中的 GPT-5.6 Sol 帮助 OpenAI 分析生产流量，并找出此前被忽略的失衡来源。同一套循环还会测试新的路由策略，帮助工程师持续调整启发式规则。OpenAI 表示，仅这些负载均衡改进就大幅降低了模型的服务成本。

key-value（KV）cache 也接受了同样的优化。在处理未缓存的输入 token 时，模型会通过一次计算密集型运行构建 KV cache，随后在生成过程中反复读取并扩展它。最佳服务配置在很大程度上取决于 prompt 长度、batch size 和 cache hit rate，涉及 batching、sharding 和 cache management，而此前的配置空间过于庞大，难以进行系统性调优。借助 Codex 中的 GPT-5.6 Sol，OpenAI 分析了生产工作负载并生成候选配置。该公司表示，这让针对特定工作负载的优化变得切实可行，其精细程度是过去宽泛的启发式规则无法达到的。

只处理发生变化的部分

API 团队专注于模型调用前后发生的一切。提交 prompt 后，API 技术栈会接收请求、加载上下文并验证输入。随后执行安全检查，再将文本转换为用于推理的 token。OpenAI 通过 time to first token（TTFT）、time between tokens（TBT）和 end-to-end time（E2E）衡量这部分开销。

Tokenization 是一种 O(n) 操作，因此 prompt 越长，处理所需的时间就越多。Codex 过去会在每次工具调用后发送完整的对话上下文。这意味着每个 turn 中，同一段对话可能要重复进行数十次 tokenization，尽管每次请求真正新增的上下文只有很少一部分。OpenAI 通过 WebSocket 集成解决了这个问题，将 tokenization 状态提升到服务端。第一次调用会渲染完整 prompt 并进行 tokenization，后续调用则只发送新的输入以及对该对话的引用，使这项操作更接近 O(1)。这种模式类似增量构建系统：只重新编译发生变化的文件，而不是重新编译整个项目。

在大量使用工具的工作流中，这些节省会不断累积，因为每个工具结果都会触发一次新的 API 往返。OpenAI 表示，对于包含 20 次或更多工具调用的 rollout，端到端执行速度最多可提升约 40%。

事实证明，硬件与协议设计同样重要。OpenAI 的所有基础设施都运行在 Kubernetes 上。该公司发现，相同 instance type 的节点往往采用不同代际的 CPU，其中许多节点仍在运行已经过时的处理器。根据其测量结果，旧处理器完成相同工作时消耗的 CPU 资源大约是新处理器的两倍。将更多流量重新分配给较新的处理器，使 TTFT 改善了约 20%；如今，CPU 代际也已成为容量规划的一项考量因素。

OpenAI 为应用层开销归纳了四种归宿：删除它、让它与有用工作重叠执行、在更快的硬件上运行，或者让代码消耗更少的 CPU cycles。其 asyncio 改动将工作移出了 critical path，而更新的硬件和 Rust 实现则让剩余工作运行得更快、表现也更可预测。

仅追加的 harness

Agent harness 是一个基于 Rust 的编排层，负责连接模型、工具和用户环境。在一个 turn 中，Codex 可能会检查源代码、搜索部署历史并读取事故报告。编辑文件和运行测试都会分别增加一次请求。由于一项任务可能需要发起 30 次模型请求，因此每次请求额外增加一秒，累积起来也会成为显著开销。

上下文膨胀是 harness 首先要解决的问题。随着 Agent 获得更多工具、skills、plugins 和对话历史，上下文窗口也会不断扩张。这种增长会增加成本、分散模型注意力，并引发不必要的推理。harness 通过 deferred discovery 应对这一问题：只有在需要时，才向模型呈现 integrations、自定义 Model Context Protocol（MCP）工具、skills 和 plugins。默认情况下，工具输出上限为 10,000 个 token，除非模型请求不同的限制。

Prompt caching 推动了第二项设计选择。Agent loop 会在一个 turn 内多次重复发送相同的指令、工具定义和先前结果。因此，harness 将所有对模型可见的历史记录都视为 append-only：新的消息和工具结果只添加到末尾，而不会插入较早的上下文中。工具以确定性的顺序呈现；approval policies 等运行时设置则在执行期间应用，而不是嵌入工具定义中。OpenAI 将 Codex 和 ChatGPT Work 较高的 prompt-cache hit rate 归功于这种设计。

构建内部 Agent 的平台团队无需具备 OpenAI 的规模，也能采用这些设计选择。仅追加上下文、确定性的工具排序，以及限制工具输出，都能直接削减 token 支出。对于眼看着推理账单随每次新 Agent 部署不断增长的企业而言，这些也是文章中最具可移植性的经验。

收益来自哪里

文章为大多数优化都给出了具体数字，这些数据来自 OpenAI 自己的生产环境测量。综合来看，它们说明了各项看似有限的收益如何在整个服务技术栈中不断叠加。

总而言之，OpenAI 将 GPT-5.6 的效率提升描述为多年持续累积改进的结果。这些改进横跨研究、推理、API 技术栈和 Agent harness。该公司表示，模型在促成其中许多改进时发挥的作用，让它相信未来的优化速度还会进一步加快。kernel 工作被特别列为将持续投入的领域。

这篇文章将效率与原始智能水平并列，视为 frontier labs 如今展开竞争的核心维度。相较 Claude Fable 5，GPT-5.6 Sol 所宣称的 54% 输出 token 优势，展现了 OpenAI 打算如何参与这场竞争。这篇工程博客提出了一个颇具说服力的观点：除了硬件改进之外，软件优化正在成为降低 frontier models 服务成本的重要杠杆。不过，这些数字仍然来自 OpenAI 自己的生产环境测量。文中展示的自主能力运行在 Codex 内部，同时仍有工程师参与监督。无论如何，开发者和企业都将从中受益：随着这些底层改进沿着成本与智能水平的曲线传递给用户，他们将能以更低的价格获得能力更强的模型。