7.0
热点
AI SCORE
工具产品2025-03-09 16:08
Sidekick：隐私优先的本地 LLM 应用
Hacker News · github.com#本地LLM#隐私#开源
Editor brief · 编辑速览
原生 macOS 应用完全本地运行无需联网，适合重视隐私和离线使用的开发者，开源可自定义扩展。
与本地 LLM 对话，它可以根据 Mac 上的文件、文件夹和网站内容回答问题，无需安装任何其他软件。所有对话都在离线环境中进行，你的数据始终安全。Sidekick 是一款 local-first 应用——内置本地模型推理引擎，同时兼容 OpenAI compatible APIs，提供更多模型选择。
Sidekick 通过内置的 llama.cpp 后端，开箱即用地支持 Qwen3.5 等现代 GGUF 本地模型。
假设你正在为一篇历史论文收集证据，研究阿兹特克人与西班牙军队之间的交锋，并且想查找有关阿兹特克人是否使用过缴获的西班牙武器的资料。
你可以向 Sidekick 提问：“阿兹特克人是否使用过缴获的西班牙武器？”它会给出带页码的原文直接引述，并附上一段简要分析。
要验证 Sidekick 的回答，只需点击回答下方显示的参考资料，Sidekick 引用的学术论文便会立即在阅读器中打开。
在这里进一步了解 Sidekick 的功能及其使用方法。
Sidekick 可以访问你的 Expert 中的文件、文件夹和网站。每个 Expert 都可以单独配置，用来收纳与特定兴趣领域相关的资源。启用某个 Expert 后，Sidekick 就能在需要时获取并引用其中的资料。
由于 Sidekick 使用 RAG（Retrieval Augmented Generation，检索增强生成），理论上你可以向每个 Expert 中放入数量不限的资源，Sidekick 仍然能够找出与你的请求相关的信息，用于辅助分析。
例如，一名学生可以创建 English Literature、Mathematics、Geography、Computer Science 和 Physics 等 Expert。在下图中，他启用了 Computer Science Expert。
用户也可以直接把文件拖入输入框，授权 Sidekick 访问这些文件。
Sidekick 甚至可以借助 web search 获取最新信息并作出回答，从而加快研究进度。
除了核心的 local-first 能力，Sidekick 还允许你为 OpenAI compatible APIs 配置自己的 API Key。这样一来，你可以在维持以 local-first 为主的工作流的同时，使用更多远程模型。
Sidekick 内置了多家热门服务商的预设，包括 OpenAI、Anthropic、Google AI Studio、DeepSeek、Groq、MiniMax、Mistral、xAI 等——只需选择服务商并输入 API Key，即可开始使用。
Sidekick 可以调用函数来增强模型的数学和逻辑能力，并执行操作。函数会在循环中依次调用，直到获得结果。
例如，当你让 Sidekick 计算 Nvidia 2025 年第三季度的财务指标时，它会调用 27 次工具，保存 CSV 文件并展示结果。
当我让 Sidekick 为朋友 Jean 起草一封生日庆祝活动的邀请邮件时，它会从通讯录中找到我的生日和 Jean 的电子邮件地址，然后在默认邮件客户端中创建一封草稿。
这使得 Agent 可以完全在本地运行。
Deep Research 是 Sidekick 中实现的一种专用 Agent，用于处理长周期、多步骤的研究任务。
指定一个研究主题，其余工作交给 Sidekick——它会阅读 50～80 个网页，综合其中的信息并撰写研究报告。
Sidekick 现在可以跨对话记住有用的信息，让回答更加贴合你的需要，也更具个性化。无论你是在 Sidekick 中打字、说话还是生成图片，它都能回忆起你分享过的细节和偏好，并据此调整回答。用得越多，它就越有用；随着时间推移，你会逐渐发现它的表现有所提升。
例如，我可以告诉 Sidekick：自己是 Python 初学者，正在尝试制作一个自己的俄罗斯方块版本。
当我向它询问 pygame 的替代方案时，它会结合我当前正在开发的俄罗斯方块项目给出建议。
使用 Canvas 创建、编辑和预览网站、代码及其他文本内容。
选中文本中的一部分，然后通过 prompt 让 chatbot 仅对选中内容进行编辑。
Sidekick 可以根据文本生成图片，帮助你为工作制作视觉辅助材料。
这里没有按钮，没有需要拨动的开关，也没有 Image Generation 模式。内置的 CoreML 模型会自动识别图片生成 prompt，并在必要时生成图片。
图片生成功能仅适用于 macOS 15.2 或更高版本，并且需要 Apple Intelligence。
Sidekick 能够精美地渲染 Markdown。
Sidekick 原生支持使用 LaTeX 渲染数学公式。
在合适的情况下，Sidekick 会自动为表格生成可视化图表，并提供多种图表类型，包括柱状图、折线图和饼图。
图表可以通过拖放方式放入第三方应用。
代码会以精美的语法高亮形式呈现，只需点击按钮即可导出或复制。
Sidekick 使用 llama.cpp 作为推理后端，针对 Apple Silicon 进行了优化，可实现极快的生成速度。它还支持 speculative decoding，能够进一步提升生成速度。
你也可以选择卸载生成任务，在加快处理速度的同时延长 MacBook 的电池续航时间。
配备 Apple Silicon 的 Mac
brew install --cask arcadi4/tap/sidekick
请按照这里的指南操作。
Sidekick 的主要目标，是让大众都能使用开放、本地、私密且具备上下文感知能力的 AI 应用。
在这里进一步了解我们的使命。
配备 Apple Silicon 的 Mac
克隆此 repository。
运行 ./setup.sh <TEAM_NAME>，更改 Xcode project 中的 team。
在 Xcode 中打开并运行。
非常欢迎贡献。让我们共同把 Sidekick 打造得既简单又强大。
你可以通过 johnbean393@gmail.com 联系此 repository 的所有者，或者提交 issue。
如果没有以下个人与团队的辛勤工作，这个项目将无法实现：