电话语音智能体如何实现低延迟打断
文章围绕原始 8kHz RTP 构建语音打断链路,分析采样率转换、TCP 队头阻塞与播放缓冲残留造成的延迟。配套实验代码结合 FreeSWITCH、Pipecat、SenseVoice 和 SOXR,探索 60 毫秒打断目标。
AI 深度解读
电话里的 AI 明明已经检测到用户插话,为什么还在继续说?作者 Wang Guo 把问题拆成三段:电话音频与模型的采样率不匹配、TCP 传输出现排队、待播音频没有清空。他给出的方案是用 Raw RTP 接入电话网络,再把「立即停播」和「听懂内容」分开处理,目标是把打断响应压到约 50–60ms。
这篇最有用的地方,是把语音交互延迟追到了音频帧和播放队列。不过,标题里的 60ms 和正文里的 0.16ms,测量范围不同,不能当成同一个性能承诺。
为什么浏览器里顺畅,接上电话就抢话
作者面向的是 PSTN、SIP trunk 和 FreeSWITCH 电话链路。它与安静房间里的笔记本麦克风有几处关键差别。
首先是采样率。传统电话链路常见的是 8kHz G.711(PCMU/PCMA)或 L16 音频,而 SenseVoice、Whisper、Silero VAD 等模型通常需要 16kHz PCM。作者认为,简单线性插值会引入频谱伪影,影响自动语音识别(ASR)和语音活动检测(VAD),因此采用 SOXR_VHQ 做 8kHz ↔ 16kHz 转换。
其次是传输。WebSocket 基于 TCP,前面的数据丢失后,后续数据需要等它补齐,这就是队头阻塞。连续的 20ms 电话音频帧遇上移动网络抖动,及时送达可能比逐包补齐更重要。作者用「50ms 的打断变成 700ms 的双方抢话」描述后果,但没有提供对应的测试条件。
最后是播放队列。后端停止生成语音,不代表电话立刻安静。作者指出,尚未清空的出站 RTP 队列可能继续播放 20ms–200ms 的声音。
打断是否及时,取决于调用方最后还会听到多少音频。
60ms 的关键,是让停播先于转写
作者的实验栈包括 FreeSWITCH 8kHz Raw RTP、Pipecat Full-Duplex、SenseVoice 和 SOXR VHQ 重采样。音频按 20ms 帧处理,每帧在 8kHz 下包含 160 个采样点,避免任意大小的分块再引入等待。
下面这段架构图说明了检测结果如何直接触发播放队列清空:
[PSTN / SIP Caller (8kHz RTP, 20ms frames)]
│
▼ (UDP Raw RTP)
[FreeSWITCH Media Gateway]
│
├──► [SOXR VHQ Upsampler (8kHz ➔ 16kHz)] ──► [SenseVoice / Acoustic VAD (~18ms)]
│ │
│ ▼ (Barge-In Triggered!)
└──◄ [256-Frame Outbound Ring Buffer] ◄──── [0.16ms clearAudio() Hard Flush]
要看最后一行:作者把待播 TTS 音频放进固定的 256 帧环形缓冲区,通过 clearAudio() 重置读写指针,并报告清空操作耗时 0.16ms。
真正决定交互方式的是两条独立循环:
- 快循环约 50–60ms,通过声学 VAD、能量和共振峰门控判断是否有人开口,立即调用
clearAudio()。 - 语义循环约 200–400ms,等待完整 ASR 转写,再交给 LLM 更新上下文和轮次状态,处理「嗯」「对」这类简短附和。
这里的取舍很直接:先停止抢话,再判断用户是不是想接管发言。即使后续发现只是附和,也不必永久打乱原来的对话状态。原文没有展开误触发后如何恢复播报。
我的判断
我认同把声学打断与语义理解分开。等待完整转写甚至 LLM 判断后才停播,会把本可更早执行的动作拖进较慢的处理链路。相比只换一个更快的识别模型,检查待播队列往往更接近问题发生的位置。
但这些数字还不足以证明整条链路都达到了同样水平。约 18ms 是图中标注的声学检测耗时,0.16ms 是本地缓冲清空耗时,50–60ms 才是作者提出的快循环范围。原文没有交代端到端计时起止点、延迟分布、网络条件或误打断率,也没有给出 WebSocket 与 Raw RTP 的受控对照。
清空本地队列,不等于撤回已经发往网关和电话端的音频。
256 帧是容量,也不是固定播放延迟。若每帧均为 20ms,满载对应 5.12 秒音频;实际积压多少、是否存在其他下游缓冲,原文没说清。
SOXR_VHQ 的「零伪影」同样应视为作者的表述。8kHz 升到 16kHz 可以满足模型输入格式,却不能恢复电话链路已经丢掉的高频信息。文章也没有给出重采样前后的识别准确率对照,更没有展开回声消除方案。
作者还列出了 Web 与 macOS 配套项目 HardCall,标注 52ms,但没有说明它与电话实验是否使用同一测量口径。因此,这更适合作为工程设计参考,而非可直接复用的性能保证。
能拿来做什么
- 做 Node 电话语音服务时,分别记录音频到达、VAD 触发、停止生成、清空待播队列的时间,先定位延迟落在哪一段。
- 给 TTS 播放层设计明确的清空接口,并检查 FreeSWITCH 等下游是否仍有积压,避免把取消生成请求当成打断完成。
- 把「检测到用户发声就暂停」与「转写完成后更新对话」分开实现,再针对附和、噪声和回声验证误触发及恢复行为。
- 从浏览器原型迁移到 SIP 电话时,先核对编码、8kHz/16kHz 转换和 20ms 帧边界,再比较 WebSocket 与 Raw RTP 的实际表现。