拆解语音 AI 首字延迟,连接复用省近一秒
作者测量语音转写、请求准备、模型连接和首字输出等环节,发现转写定稿与重复建连是主要耗时点,提前流式输出首句仅节省约 6 毫秒。保持模型 API 连接后,端到端中位延迟从 3.58 秒降至 2.65 秒,但需持续发送小型保活请求。
AI 深度解读
实时 AI 应用的「快」,要从用户说完话算到屏幕出现文字。作者团队做的面试辅助工具 RoundReply,这段等待最初约为 3.6 秒。拆开测量后,他们发现,语音转写收尾和模型连接建立都在消耗时间。
最终,让连接在通话期间保持打开,端到端延迟中位数从 3.58 秒降到 2.65 秒。这篇值得读的地方,是它展示了如何找到真正该优化的环节,也记录了一次提速却损害正确性的尝试。
3.6 秒等待,模型只占其中一部分
RoundReply 会听取通话中的问题,再根据用户简历生成面试回答。作者关注的指标是:从问题说完,到第一批文字可见,需要多久。
他们用真实服务商处理了 12 段录制的问题,拆出了这些耗时:
| 环节 | 原文测量结果 |
|---|---|
| 说话结束,到最终转写行返回 | 约 1.6 秒,中位数为 1.56 秒 |
| 识别问题并发出请求 | 少于 0.05 秒 |
| 处理 tokens、通话租约并构建提示词 | 0 至 0.3 秒 |
| 建立模型连接 | 0.73 秒 |
| 模型收到请求,到返回首段文字 | 约 1.1 秒 |
| 渲染 | 少于 0.05 秒 |
语音引擎配置的是静音 0.45 秒后结束一行,实际最终转写却在说话结束后等待了 1.56 秒。配置中的静音阈值,并不等于应用收到最终结果的时间。
模型侧也已经做过提示词缓存:约 3,400 个输入 tokens 中,稳定部分约 3,000 个已缓存。但两道问题之间,连接会被关闭,下次请求还要重新建立连接。
只盯着模型生成速度,会漏掉用户等待中的大块开销。
前端渲染在这里占比很小。作者还检查了更早流式展示首句的收益,结果只有 6 ms。对这条链路来说,继续调整文字展示时机很难产生可感知的改善。
这些数字也不宜直接相加还原总耗时:原文没有交代各阶段是否重叠,也没有给出逐次测量明细。
保持连接有效,抢先结束转写却出了问题
作者团队最有效的改动,是在通话进行期间,让 API 到模型的连接保持打开。
改动后,模型阶段从 1.74 秒降到 1.15 秒,完整路径的延迟中位数从 3.58 秒降到 2.65 秒。此次验证中,17 个问题全部得到完整回答,即 17/17。
维持连接的成本,是每台服务器每隔几秒发送一个很小的 keep-alive 请求,而且只在有通话运行时发送。原文没有说明具体使用了什么协议、客户端或服务商接口,也没给出请求频率和费用,因此能拿走的是优化方向,不能直接照抄实现。
连接之后,下一个明显瓶颈是语音结束判定(end-of-utterance):系统什么时候认定用户已经说完,可以提交完整问题。
他们尝试用自己的静音检测提前结束问题,把最终转写行的等待压到了约 0.8 秒。但部分运行中,问题开始才一秒,就被转写系统切成了两段。输入问题不完整,生成得再快,也可能回答错方向。
作者因此关闭了这项优化,等查清原因再启用。
更快地回答残缺问题,不能算一次成功的延迟优化。
我的判断
我认同这次排查的顺序:先测量真实音频经过整条链路的耗时,再决定改连接、改语音策略,还是改前端展示。相比直接换模型或压缩提示词,这种方法能先确认时间到底花在哪里。
但这份结果仍是小样本经验。最初拆分用了 12 个录制问题,优化后报告了 17 个问题;原文没有说清两轮样本是否一致,也没有给出尾部延迟、网络条件和并发情况。3.58 秒到 2.65 秒的改善值得参考,不能据此认定其他团队也能获得同样收益。
保活的适用前提也很明确:请求之间确实存在连接关闭和重建。如果现有客户端已经复用连接,就需要继续测量别的环节。作者关于连接建立在基准测试中容易被忽略的提醒很有价值,但是否被忽略,仍取决于测试有没有把它计入。
至于自定义静音检测,作者给出了失败现象,没有解释根因。不能据此断言这种方案不可用,也不能把约 0.8 秒当成可直接上线的成绩。
能拿来做什么
- 做浏览器语音助手时,把「用户停止说话」到「首段文字可见」作为端到端指标,同时记录最终转写、请求发出和首段返回时间,避免只测模型接口。
- 在 Node 服务连接模型的场景里,检查连接是否在请求间复用。确认存在重建开销后,再验证连接保活的实际收益与请求成本。
- 调整静音阈值或提前提交转写前,用包含停顿、长问题和连续追问的真实录音验证完整性,同时观察延迟与问题被截断的情况。
- 前端准备优化流式显示时,先量出渲染耗时。如果收益也只有类似 6 ms,应优先处理转写等待或连接建立这些更大的开销。