基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-20 09:23

用双循环把语音打断延迟降至 52 毫秒

dev.to · AI#实时语音#打断检测#低延迟
Editor brief · 编辑速览

HardCall 用本地语音活动检测识别用户开口并立即清空播放缓冲,再异步判断用户是否真的想打断。作者报告这套双循环架构将打断延迟压至 52 毫秒,停止播放无需等待转写完成或服务端往返。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

语音 AI 能回答问题,却经常接不住一句「等一下」。用户已经开口,AI 还在继续说,双方重叠几百毫秒,对话立刻变成抢话。HardCall 作者认为,症结在于系统仍按「你说完、我再说」的轮次工作。

他们给出的方案是把「立刻闭嘴」和「判断用户想干什么」拆成两条异步链路,并报告了 52.16ms 的感知打断延迟。这篇最值得借鉴的是处理顺序:停止播放不该等语音转写完成。但这个数字如何测出,原文没有交代完整。

为什么用户开口后,AI 还停不下来

作者在开发 HardCall 时遇到了这个问题。这是一个开源的全双工 AI 语音面试与高压演练模拟器,支持 macOS + Web。全双工指双方可以同时收发声音,不必轮流占用通道。

按照作者描述,常见语音 AI 封装在用户插话后,还要依次等待:

  • 端点检测(endpointing)确认用户是否说完,耗时 300ms+。
  • 语音转文字(STT)产出最终结果,耗时 200ms+。
  • 服务端取消文字转语音(TTS)流,但已经发出的 WebSocket 音频帧仍在继续排空。

作者给出的最终重叠说话时间是 650ms–900ms,并称人会察觉超过约 200ms 的打断延迟。这些数字是原文陈述,没有附测试条件或引用。

这里容易漏掉的是最后一步:取消服务端生成,不等于用户耳边马上安静。已经进入传输和播放队列的声音,仍可能继续播放。

打断体验取决于何时停止播放,而不只是何时停止生成。

两条循环怎样把「停下来」提前

HardCall 把打断拆成音频快循环和语义慢循环。前者决定是否立即静音,后者决定接下来怎么回应。

作者将第一条称为「50ms Audio Fast-Loop」。本地 Silero VAD,也就是语音活动检测器,约用 18ms 检测到用户开始说话,随后清空待播放音频的环形缓冲区,清空操作耗时 0.16ms。停止说话这件事不需要等待服务器往返。

这里的环形缓冲区,可以理解成音频播放前的暂存队列。用户插话时,先把队列里的声音清掉。

第二条是「200ms Semantic Slow-Loop」。音频已经安静后,轻量意图门控再判断用户是在反驳,还是只发出了「嗯哼」、咳嗽等附和或噪声。例如,用户说「等等,我们的 p99 已经下降 42%……」,就应当转向处理这条反驳。这里的 p99 是第 99 百分位指标,42% 只是示例话语中的数字,并非系统性能收益。

如果确认是有效反驳,系统在 <200ms 内调整反驳处理提示;如果只是误触发,则恢复播放。配套还要重置状态,丢弃过时的 TTS 帧,防止清空缓冲区后,旧声音又被后续到达的数据续上。

作者报告感知打断延迟为 52.16ms,标题将其概括为 52ms。不过,50ms 循环、约 18ms 检测和 0.16ms 清空如何共同构成这个结果,原文没有解释。

我的判断

我认同这套拆分:停止播放是时效要求很高的动作,理解意图可以稍后完成。把两者绑在一起,转写和语义判断的等待就会直接变成用户听见的抢话。

它也比单纯调节音量阈值更有针对性。作者指出,纯能量 VAD 容易被键盘声、清嗓触发,纯 LLM 轮次检测又显得迟缓。双循环给出的折中是先停,再确认,误判后恢复。

但「没有误触发干扰会话」还缺少证据。原文没有给误触发率、恢复成功率,也没有提供与其他方案的对照数据,因此只能把它当作作者的工程经验。尤其是轻量意图门控用了什么模型或规则、短句尚未说完时怎么判断、恢复时从哪里续播,都没说清。

52.16ms 同样需要保留意见。作者没有公布设备、浏览器、网络条件、测量起止点和延迟分布;正文提到立即调用清空操作,却没有给出具体 API 或代码。可以借鉴架构,不能直接把这个数字当成一般团队接入后的承诺。

能拿来做什么

  • 做浏览器语音助手时,把本地停止播放做成独立路径,收到用户开口信号就能执行,避免依赖 STT 最终结果。
  • 排查 Node 服务已经取消 TTS、前端仍继续出声的问题时,沿着服务端输出、传输帧和播放缓冲区逐层检查,并确认旧帧会被丢弃。
  • 为误触发设计恢复流程,至少覆盖键盘声、咳嗽和简短附和,并验证恢复后是否重复播放或漏掉内容。
  • 评估 WebRTC 或原始 8kHz RTP 语音链路时,分别测量开口检测、实际静音和语义决策的耗时,避免只用一个总延迟掩盖瓶颈。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
如何审查 AI 生成的测试是否有效
下一篇
用幂等键避免智能体重试产生重复操作

资讯速览

dev.to · AI · 2026-11-20 09:23

AI 评分 8.0 / 10

相关标签

#实时语音#打断检测#低延迟

继续阅读

  • Gemini 4 四款模型的性能与成本对比
  • 如何审查 AI 生成的测试是否有效
  • 用幂等键避免智能体重试产生重复操作
  • 用 AI 搭建端到端故障测试工具
  • GPT-Live-1.1 向开发者开放全双工语音