用双循环把语音打断延迟降至 52 毫秒
HardCall 用本地语音活动检测识别用户开口并立即清空播放缓冲,再异步判断用户是否真的想打断。作者报告这套双循环架构将打断延迟压至 52 毫秒,停止播放无需等待转写完成或服务端往返。
AI 深度解读
语音 AI 能回答问题,却经常接不住一句「等一下」。用户已经开口,AI 还在继续说,双方重叠几百毫秒,对话立刻变成抢话。HardCall 作者认为,症结在于系统仍按「你说完、我再说」的轮次工作。
他们给出的方案是把「立刻闭嘴」和「判断用户想干什么」拆成两条异步链路,并报告了 52.16ms 的感知打断延迟。这篇最值得借鉴的是处理顺序:停止播放不该等语音转写完成。但这个数字如何测出,原文没有交代完整。
为什么用户开口后,AI 还停不下来
作者在开发 HardCall 时遇到了这个问题。这是一个开源的全双工 AI 语音面试与高压演练模拟器,支持 macOS + Web。全双工指双方可以同时收发声音,不必轮流占用通道。
按照作者描述,常见语音 AI 封装在用户插话后,还要依次等待:
- 端点检测(endpointing)确认用户是否说完,耗时 300ms+。
- 语音转文字(STT)产出最终结果,耗时 200ms+。
- 服务端取消文字转语音(TTS)流,但已经发出的 WebSocket 音频帧仍在继续排空。
作者给出的最终重叠说话时间是 650ms–900ms,并称人会察觉超过约 200ms 的打断延迟。这些数字是原文陈述,没有附测试条件或引用。
这里容易漏掉的是最后一步:取消服务端生成,不等于用户耳边马上安静。已经进入传输和播放队列的声音,仍可能继续播放。
打断体验取决于何时停止播放,而不只是何时停止生成。
两条循环怎样把「停下来」提前
HardCall 把打断拆成音频快循环和语义慢循环。前者决定是否立即静音,后者决定接下来怎么回应。
作者将第一条称为「50ms Audio Fast-Loop」。本地 Silero VAD,也就是语音活动检测器,约用 18ms 检测到用户开始说话,随后清空待播放音频的环形缓冲区,清空操作耗时 0.16ms。停止说话这件事不需要等待服务器往返。
这里的环形缓冲区,可以理解成音频播放前的暂存队列。用户插话时,先把队列里的声音清掉。
第二条是「200ms Semantic Slow-Loop」。音频已经安静后,轻量意图门控再判断用户是在反驳,还是只发出了「嗯哼」、咳嗽等附和或噪声。例如,用户说「等等,我们的 p99 已经下降 42%……」,就应当转向处理这条反驳。这里的 p99 是第 99 百分位指标,42% 只是示例话语中的数字,并非系统性能收益。
如果确认是有效反驳,系统在 <200ms 内调整反驳处理提示;如果只是误触发,则恢复播放。配套还要重置状态,丢弃过时的 TTS 帧,防止清空缓冲区后,旧声音又被后续到达的数据续上。
作者报告感知打断延迟为 52.16ms,标题将其概括为 52ms。不过,50ms 循环、约 18ms 检测和 0.16ms 清空如何共同构成这个结果,原文没有解释。
我的判断
我认同这套拆分:停止播放是时效要求很高的动作,理解意图可以稍后完成。把两者绑在一起,转写和语义判断的等待就会直接变成用户听见的抢话。
它也比单纯调节音量阈值更有针对性。作者指出,纯能量 VAD 容易被键盘声、清嗓触发,纯 LLM 轮次检测又显得迟缓。双循环给出的折中是先停,再确认,误判后恢复。
但「没有误触发干扰会话」还缺少证据。原文没有给误触发率、恢复成功率,也没有提供与其他方案的对照数据,因此只能把它当作作者的工程经验。尤其是轻量意图门控用了什么模型或规则、短句尚未说完时怎么判断、恢复时从哪里续播,都没说清。
52.16ms 同样需要保留意见。作者没有公布设备、浏览器、网络条件、测量起止点和延迟分布;正文提到立即调用清空操作,却没有给出具体 API 或代码。可以借鉴架构,不能直接把这个数字当成一般团队接入后的承诺。
能拿来做什么
- 做浏览器语音助手时,把本地停止播放做成独立路径,收到用户开口信号就能执行,避免依赖 STT 最终结果。
- 排查 Node 服务已经取消 TTS、前端仍继续出声的问题时,沿着服务端输出、传输帧和播放缓冲区逐层检查,并确认旧帧会被丢弃。
- 为误触发设计恢复流程,至少覆盖键盘声、咳嗽和简短附和,并验证恢复后是否重复播放或漏掉内容。
- 评估 WebRTC 或原始 8kHz RTP 语音链路时,分别测量开口检测、实际静音和语义决策的耗时,避免只用一个总延迟掩盖瓶颈。