Magnitude：在编程助手接入本地大模型的推理服务器

在本地模型上运行你的 agent。免费、私密、无需联网。

Magnitude 是一个开源推理服务器，为你的硬件运行最佳的本地模型，无缝接入你已经在用的 agent。它会分析你的机器配置，推荐适合的模型，然后下载、微调并运行它们。支持 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline，也可以使用内置的 harness。

⭐ 帮助我们触达更多开发者，壮大 Magnitude 社区。给这个仓库点个星吧！

把这段话发给你的 agent，来引导模型和设置流程：

Set up local models for me with the Magnitude CLI. Install it with `npm i -g @magnitudedev/cli` (or my package manager), then run `magnitude docs onboarding` and follow the instructions.

你的 agent 会分析你的硬件，引导你了解最适合的本地模型，下载你选择的模型，并把自身切换到这些模型上运行。

Magnitude 支持 macOS 和 Linux。Windows 通过 WSL 提供支持。

npm i -g @magnitudedev/cli
magnitude setup

交互式设置让你浏览推荐的模型并自主选择。

免费运行：无 token 费用、无 API 密钥、无速率限制

完全私密离线：模型、提示词和文件都留在你的机器上

Agent 优先的设置：只需一句话，你的 agent 就会引导你完成后续步骤

了解你的硬件：分析你的芯片、内存和带宽

推荐适合的配置：根据你的机器推荐最佳模型，并预估 tok/s

端到端调优：投机解码、并发，全部为你这台机器设置好

模型按需加载：按请求加载，空闲或内存紧张时自动卸载

开源：Apache 2.0，你可以自由修改

一个开源推理服务器，为你的硬件运行最佳的本地模型，无缝接入你已经在用的 agent。它会分析你的机器配置，推荐适合的模型，然后下载、微调并运行它们。

我的硬件需要什么配置？

没有固定的最低要求。Magnitude 会分析你的硬件并为你的机器推荐最佳模型。更大的内存可以运行更大的模型。

为什么不让我的 agent 直接配置 Ollama？

你的 agent 只能猜测。它不知道你的硬件配置、哪种量化方式合适，或者运行速度如何。Magnitude 为它提供了一个针对你的机器计算过推荐结果的模型目录、一个写入 harness 配置的引导流程，以及为 agent 工作负载量身打造的推理服务。模型在需要时即时加载，空闲或内存紧张时自动卸载。

哪些 harness 可以配合使用？

Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline。在设置过程中，你的 agent 会把你的 harness 连接到你选择的模型上。当然你也可以使用 Magnitude 内置的 harness。

设置完成后我需要管理 Magnitude 吗？

不需要。它在后台运行，在你的 agent 需要模型时加载，不用时自动卸载。你的 agent 可以随时通过 Magnitude CLI 安装或切换模型。

我的数据会传到云端吗？

不会。提示词、文件和模型都留在你的机器上。

可以完全离线运行吗？

可以。一旦 Magnitude 和模型下载完成，无需网络连接。

可以使用目录以外的模型吗？

可以。你可以从 Hugging Face 下载兼容的 GGUF 模型，然后在 Magnitude 中使用。

Magnitude 遵循 Apache License 2.0 开源许可。