GPT-Live全双工语音架构解析

大多数语音助手的工作方式都像对讲机。你按下按钮说话，松开后收听，系统则试图猜测你究竟在什么时候说完，以便开始回复。一旦猜错，要么你说到一半就被打断，要么就得忍受一段尴尬的停顿。从最早的交互式语音应答系统开始，这个轮次检测问题就一直困扰着语音 AI。

2026 年 8 月 3 日，OpenAI 发布了一篇详尽的工程文章，介绍他们如何用六个月时间重建 ChatGPT 的语音基础设施，从而摆脱这一取舍。最终成果是 GPT-Live：一种无需对话轮次（turnless）的语音模型，能够同时倾听和说话，目前已经用于驱动 ChatGPT Voice。本文将结合 RuntimeWire 对此次发布的技术分析，详细解读 OpenAI 工程文章中描述的架构。

问题：轮次检测成为瓶颈

早期的 ChatGPT 语音系统将对话视为一连串轮次。模型必须等待一个独立的语音活动检测器判断用户已经停止说话，才能开始回复。这种设计带来了无法避免的取舍：判断得太早，就可能打断用户；判断得太晚，每次交流都会出现一段听得出来的停顿。

这是一个无法单靠加快推理速度彻底解决的延迟问题，因为真正的瓶颈就是判断本身。每个轮次的边界，都需要针对沉默、呼吸声、填充词和未说完的句子作出判断。正如 OpenAI 早先在一篇介绍如何大规模实现低延迟语音的文章中所说，对话中的轮流发言，是实时语音 AI 最难解决的问题之一。

解决方案：一个持续运行的全双工模型

GPT-Live 将独立的轮次检测器彻底移出了音频处理路径。模型不再分两个阶段运行（先听、再说），而是采用全双工模式：它在生成输出音频的同时，持续处理传入的语音，并且每秒多次决定应该倾听、说话、暂停、打断，还是将任务移交给另一个系统。

这样做带来的影响，不只是让对话听起来更加自然。由于模型不再等待清晰明确的轮次边界，打断也成了一种一等交互方式。你可以在助手回答到一半时插话，它也能实时调整——这是历代语音助手都始终处理不好的体验。

将语音与其他工作分离

最有意思的架构决策，是 OpenAI 如何设计模型周边的系统。语音通过一条专用快速路径在客户端与 GPT-Live 之间传输——这是一条专门服务于音频循环的低延迟通道。其他所有工作，包括搜索、tool call、持久化和更深入的推理，都被放在异步边界之后。

这意味着，耗时较长的 tool call 不会再让对话停滞。当你提出一个需要搜索网页的问题时，GPT-Live 可以在后台执行搜索的同时继续说话，等搜索结果准备好后，再自然地将其融入对话。这个系统实际上由两个模型组成，但以一个助手的形态呈现：GPT-Live 负责时机控制和语音，而 frontier model 负责需要更多计算的工作——较轻量的设置使用 GPT-5.5 Instant，Medium 和 High 设置则使用 GPT-5.5 Thinking。随着新系统的推出，OpenAI 还可以替换这个被委派执行推理的模型，而不必围绕每次发布重新构建语音模型。

从 Python 转向 Go：为稳定延迟而设计

OpenAI 使用 Go 重写了媒体前端和推理逻辑，取代了早先基于 Python asyncio 的实现。其明确目标并不是追求峰值速度，而是提高一致性：新系统第 95 百分位的帧传输性能，与旧系统的中位数性能相当。在实时音频场景中，用户真正能感知到的是最坏情况下的延迟，因此，让整个延迟分布整体左移，比赢下一项基准测试更重要。

长时间对话还带来了另一个问题。上下文会随着时间不断增长，而模型实例也可能因为容量变化而需要替换。OpenAI 构建了一套交接流程：先预热一个替代实例，为其加载当前上下文，然后让两个实例并行运行，最后再切换流量。同一套机制也能在不中断对话的情况下，压缩体积过大的上下文。

WARP：将会话启动从六次往返缩短到一次

在模型层之下，标准 WebRTC 初始化需要经过多次协议握手，媒体才能开始传输。OpenAI 开发了 WebRTC Abridged Roundtrip Protocol（WARP），将媒体与数据的启动过程从六次网络往返缩短到一次。另一个名为 Instant Connect 的相关系统，则会提前协商会话参数；只要这些参数仍然有效，客户端就可以仅用一个 UDP 数据包启动会话。

在大规模应用中，这一点非常重要。ChatGPT Voice 和 Dictation 每周服务超过 1.5 亿人，而每次将会话启动从六次往返缩短到一次，都会显著减少用户感知到的延迟。OpenAI 正在通过 Internet Engineering Task Force 的一个工作组推进 WARP，并表示 libwebrtc 和 Pion 已经加入支持——因此，这项工作也能推广到 OpenAI 自有技术栈之外。

影子部署揭示的容量真相

在 7 月 8 日正式发布之前，OpenAI 将生产环境中逐步增加的一部分语音会话路由到新系统，同时继续由 Advanced Voice Mode 为其他所有用户提供服务。这种影子部署让替代技术栈得以接受真实网络环境、会话时长和不同地区流量的考验。

测试过程中出现了一个违反直觉的发现：单凭 GPU 吞吐量，并不能准确衡量语音服务的容量。语音通话会长时间保持连接，并持续发送数据帧，对 CPU 流处理器、队列和网络服务形成持续压力。OpenAI 表示，其中一个支撑组件比负载测试预测的时间更早达到饱和，导致推理请求不断积压，延迟也随之升高。当每周用户规模达到数亿时，自然流畅的对话不仅依赖模型推理，同样依赖区域路由、连接建立和故障恢复机制。

这对开发者意味着什么

GPT-Live 目前已经用于驱动 ChatGPT Voice：Go、Plus 和 Pro 用户使用 GPT-Live-1，Free 用户使用 GPT-Live-1 mini。OpenAI 还表示，即将推出的 GPT-Live API 会向开发者开放同样的架构。这个 API 才是最值得关注的部分：围绕持续交互和后台任务委派构建的语音系统，将会提高客户支持、辅导教学和桌面 Agent 的行业标准。

对于所有正在开发语音产品的人来说，其中的启示都非常实际。将音频循环与应用逻辑分离，避免缓慢的服务阻塞语音。优化稳定延迟，而不是最佳情况下的延迟。还要把连接建立视为一等延迟问题——当用户能够听出差异时，六次握手往返中的每一次都是多余的。

我们如何在六个月内构建响应灵敏的语音 AI 实时系统——OpenAI（主要来源，2026 年 8 月 3 日）

GPT-Live 正式发布——OpenAI（产品公告，2026 年 7 月 8 日）

OpenAI 重建 ChatGPT 语音技术栈，让 GPT-Live 能够边说边听——RuntimeWire（独立技术分析）

OpenAI 如何大规模交付低延迟语音 AI——OpenAI（WebRTC 技术栈重建的背景资料）

如需采取进一步措施，你可以考虑屏蔽此人和/或举报滥用行为。