6.0
关注
AI SCORE
编程提效2025-07-28 10:17
购物语音助手：用AI Agent实现端到端自动化
DEV Community · Pratyay Banerjee#Voice Agent#自动化#实战案例
Editor brief · 编辑速览
开发者用语音Agent框架实现购物流程自动化助手。展示了语音Agent在电商场景的实战应用价值。
分类投稿：商业自动化语音 Agent
注：我们同时希望将该项目纳入实时语音性能赛道考虑。
参与者：@neilblaze & @achalbajpai
Wynnie 是你聪慧的自主 AI 购物伙伴/Agent，它通过简单的自然语言彻底改变了人们的在线购物方式。它就像拥有一个真正理解你想要什么并自动处理一切的购物精灵 🧞 — 从寻找产品到获取最优惠价格，样样齐全！我们用 AssemblyAI 的语音识别来打造这一切，它可以即时检测 50 多种语言！⚡
💡 这种智能系统的核心思想是消除所有繁琐的购物工作，同时让每个人都能使用 — 无论你说英语、印地语、西班牙语还是其他任何语言。而且这种方案扩展性极强，因为每个用户都拥有自己的个性化购物大脑。最重要的是，它服务于那庞大的老年群体，他们有购买力也需要购物，但被为数字原住民设计的摩擦力挡在门外。这是数百万潜在客户，他们被冷落、服务不足，而我们（包括商家）关心他们，因此致力于提供他们想要的服务！
🏠 首页：https://wynnie-v1.vercel.app 🔗 试试这里：https://wynnie.vercel.app
用户只需用 Google OAuth 注册，我们通过 Firebase 处理认证。注册后，他们登入仪表板，从那里可以提出任何要求 — 可以打字，也可以直接说话。如果是语音输入，AssemblyAI 的语音识别就会启动，实时转录一切，甚至包括字级时间戳和格式化信息。这份转录随后被送到 OpenAI，它提取用户想要的东西、任何关键细节，甚至识别语气和情绪。然后我们的 AI Agent 跳出来，通过 SERP API 和 Perplexity Sonar 挖掘最匹配的产品，考虑位置、优惠券、用户历史偏好等因素。一旦产品筛选完成，系统查询库存，优惠券通过 Synphase 自动应用，支付通过 UPI LiteX 无缝处理。所有操作都被追踪并存储在 Supabase，确保一切清晰、安全且无缝。
Wynnie.AI 👉 https://github.com/achal-b/wynnie [在 GitHub 上开源]
自主 AI 购物伙伴，真正的性能交付！
AssemblyAI 的语音识别，支持 50+ 种语言自动检测！
多 Agent 编排架构，扩展能力惊人
通过 Perplexity AI（Sonar）& SERP API 实时产品搜寻
智能优惠查找器，自动优化你的购物车！
智能配送规划，支持环保路由
离线工作，支持 Progressive Web App（PWA）！
说出你的语言 — 真的是 50+ 种任何语言，靠 AssemblyAI 实现
通过说话人识别知道是谁在说话，并自动隔离背景噪音。
用 Next.js & Tailwind 打造的简洁现代界面
通过 Google Firebase 的 Google OAuth SSO
实时价格追踪和捆绑建议！
真正的 AI 推荐，根据用户体验微调！
Supabase 后端，性能飙升！
通过 UPI-Litex 无缝支付，超级安全 & 端到端加密！
开箱即用，配置 CI/CD 环节（GitHub Actions）。
为你省钱 💰 + 节省大量时间！
为所有人设计 — 可访问优先！
隐私第一，GDPR 合规！*
Wynnie 处理你的购物数据和支付信息，这是相当敏感的东西。我们在安全方面不遗余力，确保一切都被锁定，100% GDPR 合规。
所有通信都发生在加密通道上，我们使用 Supabase 的内置安全功能。语音数据通过 AssemblyAI 的端点安全处理。向前看，我们计划为一切实现完整的端到端加密。
这里的事实是 — 在线购物对太多人来说仍然是一场噩梦！语言障碍、令人困惑的界面和压倒性的选择数量让人很难找到实际需要的东西并获得好优惠。😔
大多数购物网站基本上把你丢进一个迷宫，你必须：
如果你不完美地说主要语言，或者有可访问性需求，或者只是觉得技术界面令人困惑 — 你基本上就没有办法了。已经是 2025 年了，我们仍在让人们费尽心思只是为了买东西。
核心问题是电商平台像数据库一样构建，而不是像对话一样构建。没有人通过填表单购物，而是通过谈论我们需要什么来购物。
Wynnie 与其让人们导航复杂网站，不如让你自然地谈论你在寻找什么。AI 领会你的意图，自动研究产品，找到最优惠价格，并展示优化后的选项。这就像有一个真正聪慧的朋友，对购物的一切都知道一清二楚！
Wynnie 通过理解自然对话、独立做出聪慧决策和自动处理所有繁琐优化工作来改变游戏规则！👪
不仅仅是理解你说的话，Wynnie 还通过 Perplexity AI 的实时产品研究、自动优惠优化和智能配送规划来做繁重工作。
关键是什么？用户不需要学习任何新东西 — 只需自然地谈论你想要的东西！这让购物对每个人都是可访问的，无论语言、技术技能或身体能力如何。
我们的目标是通过 AI 对话实现快速、聪慧且真正有帮助的购物，这些对话理解背景、偏好，并自动优化以获得最佳结果！✨
我们的使命是通过自然 AI 对话让在线购物为所有人工作，这些对话通过智能购物自动化连接人们与他们确切需要的东西。
语音识别对可访问购物是至关重要的。AssemblyAI 的通用语音模型为我们提供了所需的准确度和语言支持，不带任何麻烦。
AssemblyAI 自动从 50+ 种语言列表中检测某人说的语言，弄清谁在说话，并给我们字级时序。这让我们能够构建真正对人们进行真实对话有效的购物体验。
// AssemblyAI Voice Processor for Wynnie 🦄
async transcribeAudio({
file,
speech_model = 'universal',
language_code,
punctuate = true,
format_text = true,
speaker_labels = false,
speakers_expected,
}: AssemblyAITranscriptionRequest): Promise<AssemblyAITranscriptionResponse> {
try {
const audioUrl = await this.uploadAudio(file);
const transcriptionJob = await this.startTranscription(audioUrl, {
speech_model, language_code, punctuate,
format_text, speaker_labels, speakers_expected,
});
const completedTranscription = await this.pollForCompletion(transcriptionJob.id);
return completedTranscription;
} catch (error) {
console.error('Error transcribing audio with AssemblyAI:', error);
throw error;
}
}
AssemblyAI 处理我们所有的语音输入并将自然语音转化为购物意图。多语言支持意味着我们可以帮助用户，无论他们感到最舒服的是什么语言。
还要感谢你们给予的 $50 积分，这帮我们快速起步！🙏🏻
我们的 AI Agent 系统（由 OpenAI 的 GPT-4o mini 驱动）生成聪慧而快速的购物推荐，AssemblyAI 处理语音输入，我们的编排器协调专门的 Agent 来查找产品、优化优惠和规划配送。一切无缝协作！🙂
我们深入研究了 AssemblyAI 的高级功能，如说话人分离和置信度评分。构建语音优先界面肯定是一个学习曲线，因为我们大多数人来自传统网络开发背景。我们必须从零开始研究语音交互模式和可访问性指南。
除了 AssemblyAI，我们学到了大量关于自主 Agent 架构、实时 AI 协调和构建真正可扩展系统的知识。🌟
我们受到经过修订的双钻石（Double Diamond）设计流程的深刻启发，这是英国设计委员会推广的一个模型，不仅包括视觉设计，还包括一个完整的研究周期，你必须在解决解决方案前发现和定义问题，最后部署它。
发现（Discover）：理解当前购物体验为何对这么多人失败。
定义（Define）：弄清自主购物 Agent 实际需要做什么。
开发（Develop）：构建处理真实对话的多 Agent 系统。
交付（Deliver）：以 PWA 支持启动并从真实用户持续学习。
我们广泛使用了 Figma，专注于语音交互流和可访问性模式。我们的朋友 Praveen 进行了用户测试，帮助我们完善 AI 如何响应以及何时要求澄清。
设计资源：Figma Community，网络可访问性倡议
图标：Lucide React，可访问性优先的图标集
排版：Manrope 和其他系统字体以实现最大可读性
构建自主购物 Agent 带来了一些真正有趣的技术挑战，特别是围绕实时协调多个 AI 服务。
最大的麻烦是让我们所有的 AI 服务顺利协作，而不产生明显延迟。我们需要 AssemblyAI 进行语音处理、Perplexity AI 进行产品研究，以及 OpenAI 进行推理，他们都和谐地工作。在维持快速响应时间的同时编排这些不同的 Agent 需要一些创意的提示工程和聪慧的回退策略。
跨不同口音和说话风格获得语音识别准确度被证明比预期复杂。AssemblyAI 的自动检测帮助很大，但我们仍然必须微调置信度阈值并构建智能回退机制。
在不牺牲隐私的情况下进行实时优化是另一个难题。我们最终在客户端进行尽可能多的处理，同时对 AI 服务使用安全的 API 调用。
我们对创建一个跨语言真正有效且提供智能优化的购物体验感到非常自豪。多 Agent 架构成功处理复杂购物任务，无需人工干预！:)
Wynnie 具有改变人们对在线购物思考方式的严肃潜力。我们希望这成为最终让电商为所有人工作的东西，无论语言、科技舒适度或身体能力如何！
我们接下来构建的内容：
预测购物：在你甚至还没问之前建议东西的 AI
视觉产品搜索：对准某物拍照并在线查找它
群组购物：通过共享对话与朋友和家人购物
可持续性评分：查看你购买的商品的环境影响
跨平台：原生移动应用和智能扬声器集成
我们很兴奋能够扩展语言支持、改进 AI 准确度，并与更多在线零售商联系！
巨大感谢 DEV 举办这个挑战赛、AssemblyAI 团队提供的出色文档和 API 设计，以及开源社区的启发和支持！🙌