医疗语音助手：语音Agent在健康咨询的应用

医疗语音助手：语音Agent在健康咨询的应用 | 前端进阶之旅

Full translation

完整中文译文

AssemblyAI Voice Agents 挑战赛：业务自动化

这是我为 AssemblyAI Voice Agents 挑战赛提交的作品，参赛类别为 Business Automation Voice Agent 和 Domain Expert Voice Agent。

📝 我构建了什么

作为医疗健康初创公司 CareSetu 的软件工程师，同时也是一所国家重点院校数学与计算专业的大三 B.Tech 学生，我亲眼见证了技术如何解决现实世界中的关键问题。

这款基于语音的 Web 应用允许用户预约医疗服务、获得健康问题的解答，例如“糖尿病患者应该采取哪些预防措施？”，并顺畅地管理自己的医疗健康需求。

它的设计目标，是让用户感觉自己正在与一位值得信赖的健康助理交谈，从而让每个人都能更便捷地获得医疗健康服务。

从商业角度来看，它可以通过自动化前台工作、降低运营成本，并确保预约数量稳定，直接为 CareSetu 及其他企业带来价值。稳定的预约量对于合作诊所的财务健康至关重要。

正如你所看到的，最终结果——成功预约——是 100% 正确的，这意味着 AssemblyAI 的 STT 转换非常可靠，也适用于你的其他任务。

后端技术栈

✅ 核心框架与运行时

✅ Python 3.11.9——主要后端语言
✅ LiveKit Agents Framework——实时音视频通信平台
✅ AsyncIO——用于处理并发操作的异步编程框架

AI 与机器学习

✅ Gemini flash——用于对话式 AI 的 LLM 集成
✅ Cartesia/TTS——text-to-speech 服务
✅ AssemblyAI——针对业务场景优化的 STT 服务
✅ ElevenLabs——高品质 text-to-speech 服务，作为备用方案
✅ Google Cloud Speech——额外的 TTS 服务提供商，作为备用方案
✅ Transformers/HuggingFace——ML 模型处理
PDFMiner/PDFPlumber/PyPDF2——PDF 文档处理
✅ NumPy/SciPy——科学计算
✅ Scikit-learn——机器学习工具

Web 框架与 API

✅ LiveKit Agents Framework——实时通信平台
✅ Python HTTP Server——用于前端集成的简单 token 服务器
✅ AIOHTTP——HTTP 客户端库，用于发送外部请求

集成服务

✅ Google Calendar API——预约安排
✅ Google Cloud APIs——各种 Google 服务

前端技术栈

核心框架

✅ React 19.1.0——具备最新特性的现代 React
✅ Vite 7.0.4——快速构建工具和开发服务器
✅ TypeScript——类型安全的 JavaScript 开发

UI 与样式

✅ Tailwind CSS 4.1.11——Utility-first CSS 框架
✅ PostCSS——CSS 处理工具

实时通信

✅ LiveKit Client——用于音视频通信的 WebRTC 客户端
✅ @livekit/components-react——LiveKit 预构建的 React 组件

测试

✅ Vitest——快速单元测试框架
✅ Testing Library——React 组件测试工具
✅ JSdom——用于测试的 DOM 模拟工具

开发工具

✅ ESLint——代码检查
✅ Terser——JavaScript 压缩

🔍 分步详细拆解

用户语音 → 麦克风 → Web Audio API → LiveKit Stream

音频流 → AssemblyAI → 文本转录结果

文本查询 → 查询处理 → 知识检索 → 上下文构建
增强后的上下文 → Google Gemini → AI 响应
预约意图 → Google Calendar API → 预约结果
AI 响应 → Cartesia/ElevenLabs/Google → 音频流
音频流 → Web Audio API → 扬声器输出
完整交互 → 分析 → 知识更新
用户继续交互 → 循环回到第 1 步｜超时或断开连接 → 结束会话
STT Error → 显示错误 → 重试 → 回退至文本输入
LLM Error → 显示错误 → 仅使用 RAG 生成响应 → 重试
TTS Error → 尝试下一个服务 → 回退至文本响应
Calendar Error → 显示错误 → 手动预约 → 重试

注意：该模型目前支持 Appointment Intent 和 Query Intent。Query Intent 包括基于 FAQ、CareSetu 隐私政策、健康保险详情、CareSetu 各个科室提供信息，以及给出与医疗健康相关的现代科学建议和家庭疗法。

👉 关于我、正在开发的项目及代码仓库说明

注意：从时间戳 7:07 可以看到，模型说出了我的名字，这意味着它在对话过程中记住了我的名字。

👉 纯后端讲解

👉 纯前端讲解

应用现已上线：👉 Live Link

点击 connect to agent
然后点击 start conversastion

👉 后端托管在 AWS EC2 实例上，并使用 Nginx 作为反向代理。

👉 前端托管在 Vercel 上。

代码片段及其运行结果证明

来源：caresetuAgent_3.0（后端）

使用 AssemblyAI 和 LiveKit 构建 Voice Agent 的代码片段

RAG 集成代码片段

Calendar 集成

AssemblyAI 在帮助我成功完成这项挑战的过程中发挥了至关重要的作用。从 CareSetu Agent 项目启动之初，AssemblyAI 团队便提供了及时的支持和指导，解答了我关于技术要求、部署选项，以及以公开方式分享项目时可采用哪些合规方式的问题。

无论是讲解发布作品的最佳实践、协助处理集成细节，还是在每个里程碑阶段给予鼓励，只要我需要帮助，他们的团队始终都在。从我与 Lee Vaughn、Dan Ince、Amanda DiNoto 和 Ryan Seams 等团队成员的直接对话中，也可以看出这一点。

他们愿意帮助解决各种问题，并对我的项目进展表现出浓厚兴趣。这不仅增强了我的信心，也确保技术障碍始终不会演变成阻碍项目推进的难题。

这些支持让我能够全身心投入，为医疗健康自动化和客户支持构建一款有影响力且可靠的 Voice Agent，也展现了 AssemblyAI 对使用其平台的开发者取得成功所作出的真诚承诺。

欢迎在评论区分享你的想法，并关注我！

✅ 这篇博客的 Twitter Post 获得了 5k+ 次 Impression

✅ 本文已发布至 Artificial Intelliegence，该平台拥有 27k+ 名关注者及电子邮件订阅者

🔗 与我联系

Medium：Profile Link
Twitter/X：Profile Link
LinkedIn：Profile Link

部分评论可能只有已登录的访客才能看到。请登录以查看全部评论。

如需采取进一步措施，你可以考虑屏蔽此人和/或举报滥用行为。