基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-22 17:12

用 ESP32 和 AWS 搭建语音助手

dev.to · AI#嵌入式#语音助手#AWS
Editor brief · 编辑速览

方案用 ESP32-S3 处理音频交互与联网,由 AWS 承担通信和存储,Amazon Bedrock 负责理解请求、生成回复并支持智能体流程。设想的用途包括检索个人知识库和查询部署状态。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

一块 ESP32-S3 能当随身 AI 助手,前提是把它当成语音终端。它负责录音、联网和播放,AWS 负责转写、查个人资料、生成回答,再把文字合成语音。作者给出的是一套参考架构,没有提供成品的实测数据。

对前端和全栈开发者,最有参考价值的是这套系统怎么切边界。一次语音请求要经过哪些服务,会话和文档怎么分别提供上下文,以及当助手从回答问题走到查询部署状态时,后端要接管哪些决定。

一句话从录音到播放,要经过哪些服务

以「解释我最近存到 AWS 笔记里的架构」为例。ESP32-S3 用外接麦克风录音,固件准备音频,通过 MQTT over TLS 连接 AWS IoT Core。作者建议把较大的录音通过 HTTPS 上传到私有 S3,后端拿到音频引用再处理。这样一来,设备消息和音频文件可以走各自的通道。原文没有给出音频大小阈值,也没有规定设备如何拿到上传授权。

语音助手架构中的 AWS 服务及其职责

后端用 Amazon Transcribe 把录音转成文字,再由 AWS Lambda 把转写结果和相关上下文交给 Amazon Bedrock。对查笔记这类请求,后端还需要检索资料,把命中的段落带进生成过程。回答生成后,Amazon Polly 将文字转成音频。音频可放进私有 S3,设备通过短时预签名 URL 下载,再交给扬声器播放。

从用户角度看,这是一轮问答。从工程角度看,每一段都有独立的输入和输出。设备收到了回复消息,仍可能遇到音频 URL 过期或下载失败。转写成功,也可能因为专有名词听错而搜偏。原文没有定下同步还是异步交付结果。做原型时,可以先把「已收到录音」「正在处理」「可播放」区分开,排查时才能定位究竟卡在哪一段。

为什么会话记忆和个人资料要分开存

用户先问 Amazon S3 Vectors 是什么,接着问「怎么把它用在我的 RAG 架构里」。后端需要带上足以解释「它」的前文。作者用 DynamoDB 管理短期会话,列出了时间戳、用户与会话的归属以及相关元数据,但没有说明消息正文或摘要怎么保存,也没有给出选取前文的规则。光有时间戳,模型仍然不知道上一句聊了什么。

查个人笔记要解决的是另一类问题。文件放在 S3,Amazon Bedrock Knowledge Bases 从获准使用的资料源检索相关段落,后端再把段落交给模型。这就是检索增强生成(RAG)。例如,助手要解释你保存的架构,就得先找出写有组件和数据流的那几段。若用户问的是「最新」一份,还需要有办法判断版本或保存时间。原文没有交代这个规则,单靠内容相关度无法保证找对版本。

下面的 Python 示例展示了后端怎样通过 boto3 把上下文和用户问题一起交给 Amazon Bedrock,再取出回复文本。

import boto3

bedrock = boto3.client(
    "bedrock-runtime",
    region_name="us-east-1"
)

def ask_jarvis(user_message, context=""):
    response = bedrock.converse(
        modelId="YOUR_SUPPORTED_MODEL_ID",
        messages=[
            {
                "role": "user",
                "content": [
                    {
                        "text": f"""
                        You are Jarvis, a helpful personal AI assistant.

                        Relevant context:
                        {context}

                        User request:
                        {user_message}
                        """
                    }
                ]
            }
        ],
        inferenceConfig={
            "maxTokens": 500,
            "temperature": 0.4
        }
    )

    return response["output"]["message"]["content"][0]["text"]

先看 modelId 那一行。YOUR_SUPPORTED_MODEL_ID 是占位符,需要换成账户在所选区域可调用的模型。maxTokens: 500 和 temperature: 0.4 是示例参数,原文没有给出调参结果。context 也只是调用方传入的字符串。历史消息怎么选、资料怎么检索、哪些数据该到期删除,都要由应用实现。

能查部署状态以后,谁来决定能不能执行

「看看最新部署是不是失败了」可以从只读工具做起。按作者的设计,模型提出要调用的工具和参数,后端校验工具名与参数、核对用户身份和权限,再让具备最小 IAM 权限的工具去查。查询结果返回模型,由它解释这次部署处于什么状态。删除资源、修改基础设施或变更权限等操作,则需要用户明确批准。

这里有两份身份要管。每台设备的唯一 X.509 证书用于确认是哪台设备在连接。谁拥有这台设备、当前操作者能看哪个项目,要靠应用自己的身份与授权机制判断。家里多人都能碰到这块板子时,这个区别尤其直接。能对着麦克风发请求的人,可能没有权限看你的部署记录。原文提出了这个边界,但没有给出共享设备上的用户认证流程。设备固件也不应写入 AWS 账户凭证。

我的判断

作者最有说服力的做法,是先跑通单轮语音,把会话、文档检索和工具调用留到后面。语音链路本就有上传、转写、模型生成、合成和下载等环节。每加一种数据源或工具,故障来源就多一处。先用固定问题跑通全链路,才能区分到底是麦克风录得不清楚、检索漏了资料,还是模型答错了。

ESP32-S3 的价值在于实体入口,比如桌上放一个按键和扬声器。如果团队想验证的是员工能否用语音查文档或看部署结果,先用浏览器录音,接同一套后端,就能把硬件和设备证书的工作往后放。反过来,如果要验证的就是离开电脑后的交互,真机录音、弱网恢复和播放就应该尽早测。选哪条路,取决于当前要验证什么。

原文没有给出端到端延迟、转写准确率、硬件兼容性结果或实际账单。控制历史长度、缩小检索片段、缓存适合复用的回答,都是经验建议,没有对照数据证明各自能省多少。成本也不能只盯着 Bedrock 的 token。转写和语音合成、Lambda 执行、DynamoDB、S3 及 IoT 消息都会计入。作者建议按选定区域和用量用 AWS Pricing Calculator 估算,交互速度还得用完整请求来测。

能拿来做什么

  • 先在 Web 页面或 ESP32-S3 上做一次按键录音,用固定问题走通上传、转写、生成、合成和播放。分别记录每一段的耗时和失败状态,再决定先优化哪里。
  • 给 Node 后端的会话查询带上用户和会话归属,只取能解释当前追问的几轮内容。文档检索单独做,用一新一旧两份架构笔记测试「最新」究竟按什么规则选。
  • 把首个工具做成只读的部署状态查询。由后端校验项目和环境参数,确认当前用户有权读取,再把查询结果交给模型组织成回答。
  • 给原型加上可复现的失败场景,至少试一次设备断网、音频 URL 过期和转写失败,看页面或设备能否显示当前状态并重新发起请求。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
用写入钩子执行 AI 容易漏掉的规则
下一篇
OpenCode 2.0 打通三端会话与后台审查

资讯速览

dev.to · AI · 2026-11-22 17:12

AI 评分 8.0 / 10

相关标签

#嵌入式#语音助手#AWS

继续阅读

  • Agent 上线后,四步任务为何调用了31次
  • 用写入钩子执行 AI 容易漏掉的规则
  • OpenCode 2.0 打通三端会话与后台审查
  • 用教师模型的标签评测,会掩盖学生模型的错误
  • 上下文压缩误删工具结果,引发反复读文件