7.0
热点
AI SCORE
开源项目2024-05-14 01:21
开源语音助手框架发布
Hacker News · github.com#语音交互#框架#开源
Editor brief · 编辑速览
可用于构建语音交互应用的开源框架，降低了开发门槛。对集成语音功能的项目有实用参考。
Pipecat 是一个开源 Python 框架，用于构建实时语音和多模态对话 Agent。你可以构建单个语音 Agent，也可以构建完整的多 Agent 系统，其中各专家 Agent 进行切换、并行扇出，并通过共享总线进行协调，可在本地运行，也可分布式部署到多个进程和机器。轻松编排音频、视频、AI 服务、传输层和对话管道，这样你可以专注于你的 Agent 的独特之处。
想要立即开始？运行 pipecat init quickstart 或跟随快速入门指南。
语音助手 – 与 AI 进行自然、流式对话
多 Agent 系统 – 专家 Agent 进行切换、并行扇出，或作为 sidecar 运行在共享总线上
AI 伙伴 – 教练、会议助手、虚拟角色
多模态界面 – 语音、视频、图像等
交互式故事讲述 – 带有生成式媒体的创意工具
业务 Agent – 客户引导、支持机器人、流程指引
复杂对话系统 – 用结构化对话设计业务逻辑
语音优先：集成语音识别、文本转语音和对话处理
可插拔：支持众多 AI 服务和工具
可组合管道：从模块化组件构建复杂行为
多 Agent 就绪：每个管道都是一个 Agent。通过切换、并行扇出、sidecar workers 或分布式部署进行组合
实时性：不同传输方式（如 WebSocket 或 WebRTC）的超低延迟交互
构建客户端应用？你可以使用官方 SDK 从任何平台连接到 Pipecat：
JavaScript | React | React Native | Swift | Kotlin | C++ | ESP32
需要预定义或动态对话路径以及状态管理？Pipecat Flows 已内置在 Pipecat 中。浏览示例可以看到它的实际运行效果。
想要构建美观且引人入胜的体验？查看 Voice UI Kit，这是一个用于快速构建语音 AI 应用的组件、Hooks 和模板集合。
Pipecat CLI 随 pipecat-ai 一起发货 – 使用 uv tool install "pipecat-ai[cli]" 安装它。运行 pipecat init 启动项目：它会为你设置好一切，这样 AI 编码助手（Claude Code、Codex）可以为你构建它，并在一分钟内搭建一个可运行的机器人。然后使用 CLI 监控和部署你的 Agent 到生产环境。
需要帮助调试管道和处理器？查看 Whisker，一个实时 Pipecat 调试器。
喜欢终端应用？查看 Tail，一个 Pipecat 的终端仪表板。
使用 Pipecat Skills 和 Claude Code 来搭建项目、部署到 Pipecat Cloud 等。使用以下命令安装插件市场：
claude plugin marketplace add pipecat-ai/skills
然后安装任何可用的插件。
构建并分享你自己的 Pipecat 服务集成！浏览现有的社区集成或查看我们的指南来创建你自己的。
在我们的 Pipecat TV 频道上了解新功能、采访和操作指南。
📚 查看完整服务文档 →
在本地机器上运行 Pipecat，准备好后将 Agent 进程迁移到云端。无论哪种方式，你都需要 uv – 首先安装它：
curl -LsSf https://astral.sh/uv/install.sh | sh
最快的方式：安装 Pipecat CLI 并以交互方式搭建新的电话或 Web/移动机器人。
uv tool install "pipecat-ai[cli]"
pipecat init
跟随快速入门指南让你的第一个机器人运行起来，或深入了解项目引导。
安装模块
# 对于新项目
uv init my-pipecat-app
cd my-pipecat-app
uv add pipecat-ai
# 或对于现有项目
uv add pipecat-ai
设置你的环境
cp env.example .env
为了保持轻量，默认只包含核心框架。如果你需要支持第三方 AI 服务，可以用以下命令添加必要的依赖：
uv add "pipecat-ai[option,...]"
使用 pip？你仍然可以使用 pip install pipecat-ai 和 pip install "pipecat-ai[option,...]" 进行设置。
从这里开始，以下代码示例是最好的学习方式 – 这些是你可以运行、阅读和改编的 Agent。
聚焦示例 – 小型 Agent，每个演示一两个特定服务或概念
示例应用 – 完整应用，你可以用它们作为开发的起点
最低 Python 版本：3.11
推荐 Python 版本：>= 3.12
克隆仓库并进入目录：
git clone https://github.com/pipecat-ai/pipecat.git
cd pipecat
安装开发和测试依赖：
uv sync --group dev --all-extras \
--no-extra gstreamer \
--no-extra local \
安装 git pre-commit hooks：
uv run pre-commit install
注意：某些扩展包（local、gstreamer）需要系统依赖。如果遇到编译错误，请查看文档。
安装用于在 Claude Code 中贡献 Pipecat 的开发工作流 Skills：
claude plugin marketplace add pipecat-ai/pipecat
claude plugin install pipecat-dev@pipecat-dev-skills
运行所有测试，从根目录执行：
uv run pytest
运行特定测试套件：
uv run pytest tests/test_name.py
我们欢迎来自社区的贡献！无论你是修复 bug、改进文档还是添加新功能，以下是你可以帮助的方式：
发现了 bug？ 开启一个 issue
有功能想法？ 开始讨论
想贡献代码？ 查看我们的 CONTRIBUTING.md 指南
文档改进？ 文档 PR 总是受欢迎的
在提交 pull request 之前，请检查现有的 issue 和 PR 以避免重复。
我们致力于及时审查所有贡献，并提供建设性反馈以帮助你的改动被合并。