Unsloth Desktop：本地一键跑大模型和训练，集成Claude Code/Codex/MCP

Unsloth Desktop：本地一键跑大模型和训练，集成Claude Code/Codex/MCP | 前端进阶之旅

Full translation

完整中文译文

Unsloth 是首个可运行和训练模型的桌面应用。

功能特性 • 快速上手 • Notebooks • 文档

下载适用于你操作系统的原生 Unsloth Desktop 应用：

从 Unsloth 或 GitHub Releases 下载。

或如果你更喜欢手动安装：

curl -fsSL https://unsloth.ai/install.sh | sh

irm https://unsloth.ai/install.ps1 | iex

Unsloth 让你可以在本地运行、训练和部署 AI 模型，支持所有类型的模型。

运行和训练 LLM、扩散模型、embedding 模型、音频模型：Kimi K3、MiniMax-H3、Qwen3.8、Muse Glimmer、DeepSeek-V4、Gemma 4。

AI 智能体与工具：使用本地模型配合 Claude Code、Codex 和 MCP，支持工具调用和代码执行。

搜索与 RAG：使用私有且无限制的网页搜索、深度研究功能和 RAG。

图像和视频：运行和训练图像和视频扩散模型或多模态模型

音频：使用私有且无限制的网页搜索、深度研究功能和 RAG。

硬件：支持 CPU、NVIDIA、AMD、Intel、macOS 和多 GPU 配置。

远程访问：通过安全的 Cloudflare HTTPS 远程访问你的本地模型。

微调：以 2 倍速度、减少 70% VRAM 训练 LLM、扩散模型、TTS 和 embedding 模型

完整支持：支持强化学习、LoRA、QLoRA、全量微调、预训练、RL、GRPO、DPO 和 FP8。

导出与部署：以 GGUF、NVFP4、FP8 等多种格式导出或部署模型。

数据集：通过 Data Recipes 从 PDF、CSV、DOCX 文件等多种格式构建数据集。

OpenAI 兼容 API：通过 OpenAI 兼容 API 提供模型服务，也可连接云服务提供商

Unsloth Start 将 Claude Code、Codex 和其他 AI 智能体一键连接到本地模型。

启动 Unsloth，加载模型，打开项目文件夹，然后运行：

unsloth start claude

将 claude 替换为任何支持的 AI 智能体：

Claude Code、Codex 和 OpenCode 可以保留当前模型，将 Unsloth 作为本地子 AI 智能体使用：

unsloth start claude --as-subagent --model unsloth/model-GGUF:quant

Unsloth 有三种使用方式：Unsloth Desktop（桌面应用）；Unsloth Studio（网页 UI）；或 Unsloth Core（代码版本）。

Unsloth Desktop（推荐）

基于 Tauri 的桌面应用是使用 Unsloth 最简单的方式，无需配置，从这里开始。

Unsloth Studio（网页 UI）

Unsloth Studio（Beta）适用于 Windows、Linux、WSL 和 macOS。

CPU：目前支持聊天和 Data Recipes

NVIDIA：训练支持 RTX 30/40/50、Blackwell、DGX Spark、Station 等

macOS：训练、MLX 和 GGUF 推理全部支持。

AMD：在 Windows、WSL 和 Linux 上支持训练、RL、聊天和部署。请阅读 AMD 指南。

Vulkan：在兼容的 GPU（包括 Intel GPU）上支持 GGUF 推理。Vulkan 仅加速 GGUF 推理；训练仍需要支持的 PyTorch 或 MLX 后端。

多 GPU：目前可用，重大升级即将推出

curl -fsSL https://unsloth.ai/install.sh | sh

使用相同命令更新。

Studio 运行后，可通过 Settings > System > GGUF inference engine 更改 GGUF 推理后端：选择 CPU、CUDA、ROCm 或 Vulkan（仅列出有对应构建的选项），然后 Apply。选择会被记录到安装中，因此更新会保留该选择，Automatic 则恢复为硬件检测。

如需在首次启动前选择，请在安装或更新前设置 UNSLOTH_LLAMA_CPP_BACKEND。它选择 llama.cpp 二进制包，所以仅在启动 Studio 时设置无法替换已有的包，且会覆盖 Settings 中的选择：

export UNSLOTH_LLAMA_CPP_BACKEND=vulkan   # or cpu, cuda, rocm, auto
curl -fsSL https://unsloth.ai/install.sh | sh

在 Linux 和 WSL 上，这是针对 AMD GPU 的路径：Unsloth 没有为其准备 ROCm PyTorch 轮包：Polaris（RX 470/480/570/580/590）和 RDNA 1（RX 5500/5600/5700）。torch 在这些卡上仍运行在 CPU 上，因此训练和 GPU 推理不可用，但 GGUF 聊天可通过 Vulkan 在 GPU 上运行。并非所有 pre-RDNA 2 显卡都在此列：Vega 20（Radeon VII、MI50、gfx906）保留了 ROCm PyTorch 路径，安装程序会将其路由到那里。旧的 UNSLOTH_FORCE_VULKAN=1 仍然有效，且在 UNSLOTH_LLAMA_CPP_BACKEND 未设置时被读取。

macOS 没有 Vulkan llama.cpp 包，也不需要：安装程序始终使用 Metal 构建，覆盖 Apple Silicon 和 Intel Mac 中的 AMD GPU，如果设置了该变量会提示并继续。

irm https://unsloth.ai/install.ps1 | iex

使用相同命令更新。

如需在首次启动前选择 GGUF 推理后端，在运行安装程序或更新程序前设置环境变量（或稍后在 Settings > System > GGUF inference engine 中更改）：

$env:UNSLOTH_LLAMA_CPP_BACKEND="vulkan"   # or cpu, cuda, rocm, auto
irm https://unsloth.ai/install.ps1 | iex

当前安装程序重新运行会在后端不同时替换之前选择的包。无需单独的 Vulkan SDK；GPU 驱动必须提供可用的 Vulkan 运行时。

unsloth studio -p 8888

如需 LAN 或云访问，添加 -H 0.0.0.0（仅原始端口；如需公共 URL 添加 --cloudflare）。默认情况下，Unsloth 仅限本地访问。

如需通过 HTTPS 访问 Unsloth，使用 unsloth studio --secure。Unsloth 绑定到 localhost，仅通过免费的 Cloudflare 隧道访问，发布到公共 https://*.trycloudflare.com URL（如果隧道无法启动则失败关闭，因此原始端口永不暴露）。这使得 Unsloth 可从互联网访问，因此任何拥有链接和 API 密钥的人都可以使用它并运行代码：请妥善保管你的 API 密钥（见下文远程访问）。

使用我们的 Docker 镜像 unsloth/unsloth 容器。运行：

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

查看开发者、每日构建和卸载等说明，请参阅高级安装。

Unsloth Core（代码版本）

curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv unsloth_env --python 3.13
source unsloth_env/bin/activate
uv pip install unsloth --torch-backend=auto

winget install -e --id Python.Python.3.13
winget install --id=astral-sh.uv  -e
uv venv unsloth_env --python 3.13
.\unsloth_env\Scripts\activate
uv pip install unsloth --torch-backend=auto

对于 Windows，仅在你已安装 PyTorch 时 pip install unsloth 才有效。请阅读我们的 Windows 指南。你可以使用与 Unsloth Studio 相同的 Docker 镜像。

对于 RTX 50x、B200、6000 GPU：uv pip install unsloth --torch-backend=auto。请阅读我们的指南：Blackwell 和 DGX Spark。在 AMD 和 Intel GPU 上安装 Unsloth，请遵循我们的 AMD 指南和 Intel 指南。

使用我们的 notebooks 免费训练。你可以使用我们新的免费 Unsloth Studio notebook 在网页 UI 中免费运行和训练模型。请阅读我们的指南。添加数据集、运行，然后部署你训练的模型。

查看我们所有的 notebooks：Kaggle、GRPO、TTS、embedding 和 Vision

查看我们所有的模型和所有 notebooks

在此查看 Unsloth 的详细文档

AMD 训练：在 Windows、WSL 和 Linux 上的 AMD GPU 上进行训练、运行 RL、聊天和部署。指南

GGUF 硬件控制：选择 GPU/层放置、卸载 MoE experts 并使用多 GPU 或 Tensor Parallelism。#6414

任何 AI 智能体的本地模型：通过 Unsloth 的 OpenAI 和 Anthropic 兼容 API，将 unsloth start 与 Claude Code、Codex、Hermes、OpenCode、OpenClaw 等配合使用。指南

MCP 控制端点：让兼容的客户端管理模型、训练、recipes、检查点和导出。#7191

本地推理可靠性：更快恢复长对话、恢复卡住的下载并重用现有 GGUF 文件。#7204 • #6858 • #7209

新模型：Qwen-AgentWorld、Ornith、Kimi K2.7 Code 和 MiniMax M3

GLM-5.2：使用 Unsloth Dynamic GGUFs 在本地运行 Z.ai 的 744B 参数、1M 上下文开源模型。指南

DeepSeek-V4：使用修正后的多轮对话和工具调用行为在本地运行 DeepSeek-V4-Flash。指南

DiffusionGemma：在 Unsloth Studio 中运行和微调 Google 的扩散语言模型，推理速度提升 1.8 倍。指南

Qwen3.6：使用 MTP 运行和训练 Qwen3.6，推理速度提升 1.4-2.2 倍，支持 NVFP4 量化 GPU。指南

Gemma 4：使用 QAT、MTP、GGUF 和 MLX 支持运行和训练 Gemma 4 文本、图像和音频模型。指南

MCP 服务器：通过 Model Context Protocol 将本地模型连接到文件、应用、数据库和外部工具。指南

连接：在同一界面中混合本地模型与 API 提供商（OpenAI、Anthropic）或服务器（vLLM、Ollama）。指南

推出 Unsloth Studio：我们用于运行和训练 LLM 的新网页 UI。博客

使用 35% 更少 VRAM 以 12 倍速度训练 MoE LLM——DeepSeek、GLM、Qwen 和 gpt-oss。博客

Embedding 模型：Unsloth 现在支持约 1.8-3.3 倍更快的 embedding 微调。博客 • Notebooks

新的 7 倍更长上下文 RL 对比所有其他设置，通过我们新的 batching 算法。博客

New RoPE & MLP Triton Kernels & Padding Free + Packing: 训练速度提升 3 倍，显存占用减少 30%。Blog

500K Context: 现在可以在 80GB GPU 上训练超过 500K context 的 20B 模型。Blog

FP8 & Vision RL: 现在可以在消费级 GPU 上实现 FP8 与 VLM GRPO。FP8 Blog • Vision RL

📥 高级安装

以下高级安装说明面向 Unsloth Studio。Unsloth Core 高级安装请查阅文档。

开发者安装从 main 分支构建，即最新（nightly）源码。

git clone https://github.com/unslothai/unsloth
cd unsloth
./install.sh --local
unsloth studio -p 8888

如需安装到隔离位置（独立的虚拟环境、auth/、studio.db、cache 和 llama.cpp 构建），设置 UNSLOTH_STUDIO_HOME 并在启动时再次传入：

UNSLOTH_STUDIO_HOME="$PWD/.studio" ./install.sh --local
UNSLOTH_STUDIO_HOME="$PWD/.studio" unsloth studio -p 8888

cd unsloth && git pull
./install.sh --local
unsloth studio -p 8888

开发者安装从 main 分支构建，即最新（nightly）源码。

git clone https://github.com/unslothai/unsloth.git
cd unsloth
Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass
.\install.ps1 --local
unsloth studio -p 8888

如需安装到隔离位置（独立的虚拟环境、auth/、studio.db、cache 和 llama.cpp 构建），设置 UNSLOTH_STUDIO_HOME 并在启动时再次传入：

$env:UNSLOTH_STUDIO_HOME="$PWD\.studio"; .\install.ps1 --local
$env:UNSLOTH_STUDIO_HOME="$PWD\.studio"; unsloth studio -p 8888

cd unsloth; git pull
.\install.ps1 --local
unsloth studio -p 8888

默认情况下 unsloth studio 绑定到 127.0.0.1（仅本机访问）。如需从其他设备访问，有以下方案：

--secure（推荐）：仅通过免费的 Cloudflare HTTPS 链接提供服务。Unsloth 保留绑定在 localhost，由隧道提供公网 URL；它采用fail closed 策略（如果隧道无法建立则不启动），因此原始端口永不暴露。

unsloth studio --secure -p 8888

-H 0.0.0.0：在所有网络接口上绑定原始端口，在网络内任意位置均可访问（取决于防火墙配置）。不会创建公网 URL；加上 --cloudflare 可同时发布一个可从公网访问的 https://*.trycloudflare.com 链接（在防火墙后亦可）。仅在你信任的网络上使用此方式。

unsloth studio -H 0.0.0.0 -p 8888

Cloudflare 隧道默认关闭：-H 0.0.0.0 仅暴露原始端口，不提供公网 URL。将通配符绑定与 --cloudflare 配对（unsloth studio -H 0.0.0.0 --cloudflare）可同时发布一个公网 https://*.trycloudflare.com 链接，或者优先使用上述 --secure 方式以保持原始端口私密。--cloudflare 对回环绑定无效。

在使用通配符绑定时，Unsloth 通过询问 ifconfig.me 获取公网 IP，然后询问 check-host.net 该端口是否可达，从而判断是否存在防火墙阻挡，据此告知用户共享地址。两者均联系第三方服务。设置 UNSLOTH_STUDIO_DISABLE_PUBLIC_CHECK=1 可跳过这些检查；横幅将显示 LAN 地址，不再显示可达性信息。

首次在公网 URL（--secure 或 --cloudflare）上发布 Unsloth 时，如果自动生成的 admin 密码仍在使用中，系统会在终端提示输入新 admin 密码（掩码输入并确认），然后公网链接才会生效。若无附加终端则发出警告并保持 bootstrap 截止时间：除非在 Web UI 中修改了密码，否则 Unsloth 将在 UNSLOTH_STUDIO_BOOTSTRAP_TIMEOUT（默认 1 小时）后关闭。

对于无法回答该提示的无头环境，可通过 --password 非交互式设置初始 admin 密码（仅在尚未设置密码时生效；如已存在密码则硬报错，之后可通过 unsloth studio reset-password 轮换）：

unsloth studio --secure --password 'your-strong-password'        # 在 `ps`/history 中可见
UNSLOTH_STUDIO_PASSWORD='your-strong-password' unsloth studio --secure   # 通过环境变量
printf '%s\n' 'your-strong-password' | unsloth studio --secure --password -   # 通过 stdin

字面量 --password VALUE 会在进程列表和 shell 历史中可见，因此自动化场景优先使用 UNSLOTH_STUDIO_PASSWORD 环境变量或 --password -（stdin）方式。这适用于任何启动方式（公网或无头 -H 0.0.0.0 绑定），密码在服务器绑定前由父进程设置，因此不会传递给重新执行的子进程。

服务端工具（网页搜索、Python 和终端代码执行）以你的用户身份运行且默认开启。任何持有 API key 且能访问服务器的人都可以在这台机器上运行代码，因此请妥善保管 API key，暴露 Unsloth 时使用 --disable-tools。

安装器选项可以作为环境变量传递。在 macOS、Linux 和 WSL 上，将变量放在管道符后以便 shell 将其传递给 sh；在 Windows 上用 $env: 设置后再管道给 iex。

跳过 PyTorch（GGUF 仅限模式）：

curl -fsSL https://unsloth.ai/install.sh | UNSLOTH_NO_TORCH=1 sh

$env:UNSLOTH_NO_TORCH=1; irm https://unsloth.ai/install.ps1 | iex

跳过安装后启动 Unsloth 的提示（适用于自动化安装）：

curl -fsSL https://unsloth.ai/install.sh | UNSLOTH_SKIP_AUTOSTART=1 sh

$env:UNSLOTH_SKIP_AUTOSTART=1; irm https://unsloth.ai/install.ps1 | iex

固定 Python 版本：

curl -fsSL https://unsloth.ai/install.sh | UNSLOTH_PYTHON=3.12 sh

$env:UNSLOTH_PYTHON='3.12'; irm https://unsloth.ai/install.ps1 | iex

安装到自定义位置配合 UNSLOTH_STUDIO_HOME：

curl -fsSL https://unsloth.ai/install.sh | UNSLOTH_STUDIO_HOME=/abs/path sh

$env:UNSLOTH_STUDIO_HOME='C:\path'; irm https://unsloth.ai/install.ps1 | iex

在 macOS 上，安装器默认使用系统证书存储（UV_SYSTEM_CERTS=1），使 uv 信任 Keychain 中的 CA 证书，这在 TLS 检测代理（ Cisco Umbrella、Zscaler 等）后是必需的。可通过以下方式退出：

curl -fsSL https://unsloth.ai/install.sh | UV_SYSTEM_CERTS=0 sh

通过 UNSLOTH_NPM_REGISTRY 将前端构建指向企业级 npm 镜像/代理（适用于在防火墙阻止 registry.npmjs.org 的开发者安装场景）：

UNSLOTH_NPM_REGISTRY=https://artifactory.example.com/api/npm/npm/ ./install.sh --local

$env:UNSLOTH_NPM_REGISTRY='https://artifactory.example.com/api/npm/npm/'; .\install.ps1 --local

它作为 --registry 被传递给 Unsloth 前端的 npm/bun 安装；供应链锁（7 天最小发布间隔、精确版本锁定）仍然有效。

在高性能主机上限制 Unsloth 原生 CPU 线程池：UNSLOTH_CPU_THREADS=8 unsloth studio -p 8888。

完全移除 Unsloth Studio 的推荐方式是使用对应操作系统的卸载脚本。它会停止所有运行中的服务器、删除安装目录、启动器数据目录、桌面快捷方式以及所有平台相关条目（macOS 的 .app 包 + Launch Services；Windows 的「开始」菜单、HKCU\Software\Unsloth 注册表键和用户 PATH 条目）：

macOS、WSL、Linux：curl -fsSL https://raw.githubusercontent.com/unslothai/unsloth/main/scripts/uninstall.sh | sh

Windows（PowerShell）：irm https://raw.githubusercontent.com/unslothai/unsloth/main/scripts/uninstall.ps1 | iex

如果只想删除安装目录而保留启动器/快捷方式以备后续重装，可改为运行 rm -rf ~/.unsloth/studio（Mac/Linux/WSL）或 Remove-Item -Recurse -Force "$HOME.unsloth\studio"（Windows）。默认位于 ~/.cache/huggingface 的模型缓存不会被上述任何操作触及。

更多信息请查阅文档。

你可以从模型搜索中的 bin 图标删除旧模型文件，也可以从默认 Hugging Face 缓存目录中删除对应的缓存模型文件夹。HF 默认使用：

macOS、Linux、WSL：~/.cache/huggingface/hub/

Windows：%USERPROFILE%.cache\huggingface\hub\

💚 社区与链接

引用 Unsloth 仓库时请使用以下格式：

@software{unsloth,
  author = {Daniel Han, Michael Han and Unsloth team},
  title = {Unsloth},
  url = {https://github.com/unslothai/unsloth},
  year = {2023}
}

如果你使用 🦥Unsloth 训练了模型，可以使用这个酷炫贴纸！

Unsloth 采用 Apache 2.0 和 AGPL-3.0 双许可证模式。核心 Unsloth 包保持 Apache 2.0 许可证，而某些可选组件（如 Unsloth Studio UI）采用开源许可证 AGPL-3.0。

这种结构有助于支持 Unsloth 的持续开发，同时保持项目开源并使更广泛的生态系统能够继续成长。

让用户能够通过 Unsloth 运行和保存模型的 llama.cpp 库

Hugging Face 团队及其库：transformers 和 TRL

PyTorch 和 Torch AO 团队的贡献

NVIDIA 的 NeMo DataDesigner 库及其贡献

当然还有每一位为 Unsloth 做出贡献或使用过 Unsloth 的人！