用语音检测和分句合成降低本地对话延迟
作者用 WebRTC VAD、faster-whisper 和 Piper 搭建全本地语音智能体,并让语言模型流式输出。语音检测先过滤静音,首个完整句子生成后即开始合成语音,让合成与后续文本生成并行。
AI 深度解读
语音助手接话慢,等待可能分散在三个地方:语音转文字、模型生成回复、文字转语音。作者把整条链路搬到一台机器上,用 webrtcvad 先筛掉静音,再让 Piper 在模型吐出第一句时就开始合成语音。
这套方案值得看的是它怎么缩短「开口前的等待」。作者验证了代码能通过语法检查、命令行参数能解析、缺少音频设备时能降级,实际接话速度和声音质量还有待实测。
先筛掉静音,再把语音交给转写模型
这张流程图把从麦克风输入到扬声器播放的处理顺序串了起来。
mic → webrtcvad (speech detect) → faster-whisper (STT)
→ sentence-buffered LLM stream → Piper TTS → speaker
看第一行,webrtcvad 放在转写前面,按音频帧判断有没有人声,在静音进入语音转文字(STT)环节前就把它筛掉。
作者选择 faster-whisper,是因为它用 CTranslate2 作为推理后端。据作者所述,在 CPU 上达到相同准确率时,它比 openai-whisper 快约 4 倍。原文没给出模型大小、CPU 型号和测试音频,也没有提供这套项目里的对照结果。选型时可以参考这个数字,估算自己机器的响应时间还得靠实测。
模型生成第一句后,语音合成就能开工
作者估计,云端 STT、LLM 和文字转语音(TTS)每次往返各增加 300–800 ms。如果三个环节串行等结果,用户就容易觉得自己在用对讲机。把处理留在本机可以省掉服务往返,模型推理和语音合成本身仍然要花时间。
作者让 LLM 持续输出 token,程序先攒出一句完整的话,再交给 Piper 合成。Piper 处理第一句时,LLM 可以继续生成后面的内容。提早开工缩短的是用户等到第一段声音的时间,整段回答何时播完还取决于生成、合成和播放的速度。作者认为 STT 和 LLM 占了主要延迟,但原文没有给出分段计时。
我的判断
按句交接是这篇最有参考价值的做法。和等完整回复再统一合成相比,它让两段工作可以并行,尤其适合回答较长的场景。收益取决于第一句出来得有多快,而原文没有交代怎么判定句子结束,也没有给出前后对照。云端服务同样可以采用流式交接,部署位置和是否串行等待是两个可以独立调整的选择。
作者确认所有模块都通过了 python3 -m py_compile,CLI 参数能正确解析,没有音频设备时程序也能降级。测试机器没有音频硬件,原文没有提供端到端延迟、音质或吞吐量的实测结果。作者把同样的架构放进了售价 20 美元的套件,实时性能还得用目标设备和真实录音来验证。
如果音频必须留在本机,或工具要在离线环境中运行,本地方案有明确的适用场景。若产品更看重播音级音质,或者目标设备跑 Whisper 模型已经吃力,云端方案仍值得比较。作者对 Piper 音质以及云端按分钟计费的取舍属于经验判断,原文没有提供盲听结果或成本账单。
能拿来做什么
- 在 Node 的语音助手原型里,消费 LLM 流时先实现按句缓冲,第一句完整后立即交给 TTS,再和整段合成比较首段声音的等待时间。
- 做前端语音交互时,记录用户说完、转写可用、模型产出首个完整句、扬声器开始播放这几个时间点,先找出真正拖慢接话的环节。
- 在目标机器上用同一批含停顿的录音比较开启和关闭 VAD 的转写耗时及 CPU 占用,同时检查句首和句尾有没有被切掉。