GPT-Live-1.1上线,语音待机费用下调
据报道,OpenAI 在 API 中推出全双工语音模型 GPT-Live-1.1,改善多语言口音处理与转写能力。新增待机模式将 WebRTC 空闲连接费用从每分钟0.05美元降至0.02美元。
AI 深度解读
OpenAI 把 GPT-Live-1.1 放进了 API。对做语音 Agent 的团队,最容易算清的一项变化是 WebRTC 会话可以在静默时暂停推理,待机费从活跃时的每分钟 0.05 美元降到 0.02 美元。上一代 GPT-Live-1 也能用这项功能。
至于 1.1 的口音、转录和任务完成率到底好多少,OpenAI 列出了改进方向,原文没有给出任何新版基准分数。接入前可以把两件事分开验证:用真实通话的静默时长算账,用业务录音测新版表现。
语音模型接管了哪些环节,后端还要做什么
常见语音链路先把声音转成文字,交给 LLM 处理,再把文字合成为语音。按 OpenAI 的说法,GPT-Live 把输入和输出音频放在同一个模型里处理。全双工(full-duplex)的意思是模型说话时还能继续听,用户可以在它播报途中插话。模型也负责判断谁在说话、什么时候该接话,并直接返回自动语音识别(ASR)转录。
语音输入和输出都支持音频与文本,默认上下文为 128,000 tokens。API 支持流式传输和函数调用。图像、视频、结构化输出、微调和预测输出都不在此次支持范围内。函数调用和结构化输出是两项能力,接到工具参数后,后端仍应按自己的接口约定做校验。
复杂推理和工具调用可以交给后端文本模型。delegation.type 设为 responses 时使用 OpenAI 模型,设为 client 时接自己的后端,也可以用第三方服务。OpenAI 举的例子是复杂问题交给 GPT-6 Astra,高调用量任务交给 Luna。指令最长 16,384 tokens。这样做给团队留出了复用现有业务接口的空间,也让后端推理与工具调用进入独立的计费项。
静默多久才开始省钱
Standby 保持 WebRTC 连接,在静默达到设定时间后暂停推理。把 session.wake_policy.type 设为 speech,模型就等用户开口再恢复。session.idle_timeout_s 接受 5 到 60 秒的整数。可选的 session.wake_policy.vad_threshold 控制语音活动检测,取值 0 到 1,默认 0.5。
进入待机时服务端发出 session.paused,检测到用户开口后发出 session.resumed。会话 ID 和历史都会保留,客户端要让麦克风轨道保持活动。OpenAI 提醒,用户用很短的话唤醒时,第一句回复可能更慢。几秒钟的停顿如果没跨过超时线,也就没有进入待机计费。
活跃和待机分别是每分钟 0.05 和 0.02 美元,折合每小时 3.00 和 1.20 美元。60% 的降幅只适用于实际进入待机的时段。 原文引用 GPT-Live-1 模型页说明按秒计费。核算整通电话时,还要把后端模型与工具的费用加进去,重度后端调用甚至可能比语音层更贵。
升到 1.1 要改什么,质量又能确认多少
模型仅在 OpenAI 云端通过 v1/live/sessions 提供,客户端可以走 WebRTC 或 WebSocket。要升级,把新会话的 model 设为 gpt-live-1.1,切换已有会话的模型需要重建会话。两代模型的并发额度分别计算,各自跨推理区域生效,1.1 页面没有公布各档额度。原文也提到,SIP 外呼在 11 月 2 日向所有组织开放。
OpenAI 给 1.1 列了四项改进:多语言口音更自然且更一致、转录更准确、字母和数字处理更稳、指令遵循和任务完成更可靠。原文对照表里有一条实测数字,GPT-Live-1 在 Full Duplex Bench 上比 GPT-Realtime-2.1 高 30 分。这个结果属于上一代,1.1 的增量仍缺少量化证据。
我的判断
待机适合有明显空档的通话,比如用户要翻找订单号。对话频繁接续时,空档可能很少跨过超时线,成本差距也会缩小。团队还得看一次唤醒慢了多少,以及用户说一个很短的「对」能不能顺利接上。这些是上线前需要实测的体验问题,原文只给了可能变慢的提醒。
全双工值得拿实际插话场景来评估。已有语音识别、LLM 和语音合成三段链路的团队,可以分别替换和定位各环节的问题。Live 的优势则集中在模型直接处理双向音频,并提供原生轮次检测。原文没给两种架构在同一批录音上的延迟、准确率和总成本对照,四项质量提升目前只能按厂商自述看待。同样,GPT-Realtime-2.1 按音频 tokens 计费,Live 按时长计费,比较成本得用同一批通话来算。
能拿来做什么
- 在前端监听
session.paused和session.resumed,记录两种状态分别持续多久。验证待机期间麦克风轨道仍然活动,再用短句测恢复后的首句延迟。 - 在 Node 后端用
delegation.type: client接入已有业务接口,校验函数参数,并把后端模型、工具与语音会话费用分别记录下来。 - 用同一批包含插话、字母拼读、订单号和多语言口音的录音跑两代模型,分别记录转录错误和任务完成情况。只想降低待机费的团队,可以先在现有 GPT-Live-1 会话上验证收益。