Llama 微调性能优化：快 80% 省内存 50%

Llama 微调性能优化：快 80% 省内存 50% | 前端进阶之旅

Full translation

完整中文译文

Unsloth Studio 可让你在本地运行和训练模型。

功能 • 新闻 • 快速入门 • Notebooks • 文档

curl -fsSL https://unsloth.ai/install.sh | sh

irm https://unsloth.ai/install.ps1 | iex

Unsloth Studio（Beta）可在 Windows、Linux 和 macOS 上运行和训练文本、音频、嵌入及视觉模型。

搜索、下载和运行包括 GGUF、LoRA 适配器、safetensors 在内的模型。

导出模型：将模型保存或导出为 GGUF、16-bit safetensors 及其他格式。

工具调用：支持具备自我修复能力的工具调用和网页搜索。

代码执行：让 LLM 能够在 Claude artifacts 和沙箱环境中测试代码。

API 推理端点：借助 Unsloth，在 Claude Code、Codex 工具中部署和运行本地 LLM。

自动设置推理参数，并支持自定义聊天模板。

我们与 gpt-oss、Qwen3、Llama 4、Mistral、Gemma 1-3 和 Phi-4 背后的团队直接合作，并修复了能够提升模型准确率的错误。

可围绕图像、音频、PDF、代码、DOCX 等内容进行聊天。支持连接 API 提供商（OpenAI、Anthropic）或服务器（vLLM、Ollama）。

使用同一提示词，并排比较任意两个模型。

兼容 OpenAI/Anthropic 的 API：通过 /v1/chat/completions、/v1/responses 和 /v1/messages 提供本地模型服务。

将本地模型连接到智能体：通过 unsloth start 搭配 Claude Code、Codex、Hermes 等使用。

网页/PDF 搜索可以读取 PDF 论文、手册和其他 PDF 搜索结果。

GGUF 硬件控制：选择 GPU/层、卸载 MoE 专家，并使用多 GPU 或 Tensor Parallelism。

可选择启用的 MCP 控制端点允许 AI 客户端管理模型、训练、配方和导出。

以最高 2 倍速度训练和强化学习 500 多种模型，同时减少 70% 的显存占用；MoE 最高可提速 12 倍。

在 Windows、WSL 和 Linux 上使用 AMD GPU 进行训练和强化学习。

数据配方：从 PDF、CSV、DOCX 等文件自动创建数据集，并通过可视化节点工作流编辑数据。

强化学习在 GRPO、FP8 和视觉强化学习中可减少 80% 的显存占用，并支持长 7 倍的上下文。

长上下文训练：速度提升 3 倍、显存占用减少 30%，并支持 500K+ 上下文。

支持 LoRA/QLoRA、全量微调、强化学习、预训练、4-bit、16-bit 和 FP8。

使用 PyTorch 和 Hugging Face 构建的自定义 Triton 及数学内核。

可观测性：实时监控训练、跟踪损失和 GPU 使用情况，并可自定义图表。

现已支持多 GPU 训练，重大改进即将推出。

Unsloth Start 只需一条命令，即可将 Claude Code、Codex 和其他智能体连接到本地模型。

启动 Unsloth、加载模型、打开项目文件夹，然后运行：

unsloth start claude

将 claude 替换为任意受支持的智能体：

Claude Code、Codex 和 OpenCode 可以保留当前模型，并将 Unsloth 用作本地子智能体：

unsloth start claude --as-subagent --model unsloth/model-GGUF:quant

Unsloth 有两种使用方式：通过 Web UI——Unsloth Studio，或通过基于代码的 Unsloth Core。两者的要求有所不同。

Unsloth Studio（Web UI）

Unsloth Studio（Beta）支持 Windows、Linux、WSL 和 macOS。

CPU：目前支持聊天和数据配方。

NVIDIA：支持在 RTX 30/40/50、Blackwell、DGX Spark、Station 等设备上训练。

macOS：全面支持训练、MLX 和 GGUF 推理。

AMD：在 Windows、WSL 和 Linux 上支持训练、强化学习、聊天和部署。请阅读 AMD 指南。

Vulkan：支持在兼容的 GPU（包括 Intel GPU）上进行 GGUF 推理。Vulkan 仅加速 GGUF 推理；训练仍需要受支持的 PyTorch 或 MLX 后端。

多 GPU：现已可用，重大升级即将推出。

curl -fsSL https://unsloth.ai/install.sh | sh

使用同一命令即可更新。

要强制使用 Vulkan llama.cpp 后端，请在安装或更新前设置 UNSLOTH_FORCE_VULKAN=1。该设置用于选择 llama.cpp 二进制包，因此仅在启动 Studio 时设置它，无法替换现有的 CPU 包：

export UNSLOTH_FORCE_VULKAN=1
curl -fsSL https://unsloth.ai/install.sh | sh

irm https://unsloth.ai/install.ps1 | iex

使用同一命令即可更新。

要强制使用 Vulkan llama.cpp 后端，请在运行安装程序或更新程序之前设置环境变量：

$env:UNSLOTH_FORCE_VULKAN=1
irm https://unsloth.ai/install.ps1 | iex

当后端不同时，重新运行当前安装程序会替换之前选择的 CPU 包。无需单独安装 Vulkan SDK；GPU 驱动程序必须提供可正常工作的 Vulkan 运行时。

unsloth studio -p 8888

如需通过局域网或云端访问，请添加 -H 0.0.0.0（仅开放原始端口；如需公共 URL，请添加 --cloudflare）。默认情况下，Unsloth 只能在本地访问。

要通过 HTTPS 访问 Unsloth，请使用 unsloth studio --secure。Unsloth 仍绑定到 localhost，只能通过免费的 Cloudflare 隧道访问，该隧道会将其发布到一个公共 https://*.trycloudflare.com URL（如果隧道无法启动，系统将以关闭状态失败，因此原始端口绝不会暴露）。这会使 Unsloth 可通过互联网访问，因此任何拥有链接和 API 密钥的人都可以使用它并运行代码：请妥善保管 API 密钥（参见下文“远程访问”）。

使用我们的 Docker 镜像 unsloth/unsloth 容器。运行：

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

有关开发版、nightly 版、卸载等说明，请参阅高级安装。

Unsloth Core（基于代码）

curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv unsloth_env --python 3.13
source unsloth_env/bin/activate
uv pip install unsloth --torch-backend=auto

winget install -e --id Python.Python.3.13
winget install --id=astral-sh.uv  -e
uv venv unsloth_env --python 3.13
.\unsloth_env\Scripts\activate
uv pip install unsloth --torch-backend=auto

在 Windows 上，只有已经安装 PyTorch 时，pip install unsloth 才能正常工作。请阅读我们的 Windows 指南。你可以使用与 Unsloth Studio 相同的 Docker 镜像。

对于 RTX 50x、B200、6000 GPU：uv pip install unsloth --torch-backend=auto。请阅读我们的 Blackwell 和 DGX Spark 指南。要在 AMD 和 Intel GPU 上安装 Unsloth，请分别参阅 AMD 指南和 Intel 指南。

使用我们的 Notebooks 免费训练。你可以使用新的免费 Unsloth Studio Notebook，在 Web UI 中免费运行和训练模型。请阅读我们的指南。添加数据集、运行，然后部署训练后的模型。

查看我们适用于 Kaggle、GRPO、TTS、嵌入和视觉的所有 Notebooks。

查看我们的所有模型和所有 Notebooks。

在此查看 Unsloth 的详细文档。

AMD 训练：在 Windows、WSL 和 Linux 上使用 AMD GPU 进行训练、强化学习、聊天和部署。指南

GGUF 硬件控制：选择 GPU/层的放置位置、卸载 MoE 专家，并使用多 GPU 或 Tensor Parallelism。#6414

适用于任意智能体的本地模型：通过 Unsloth 兼容 OpenAI 和 Anthropic 的 API，使用 unsloth start 搭配 Claude Code、Codex、Hermes、OpenCode、OpenClaw 等。指南

MCP 控制端点：允许兼容的客户端管理模型、训练、配方、检查点和导出。#7191

本地推理可靠性：更快地恢复长对话、恢复停滞的下载，并复用现有 GGUF 文件。#7204 • #6858 • #7209

新模型：Qwen-AgentWorld、Ornith、Kimi K2.7 Code 和 MiniMax M3

GLM-5.2：使用 Unsloth Dynamic GGUF 在本地运行 Z.ai 的 744B 参数、1M 上下文开放模型。指南

DeepSeek-V4：在本地运行 DeepSeek-V4-Flash，并获得经过修正的多轮对话和工具调用行为。指南

DiffusionGemma：运行和微调 Google 的扩散语言模型，并在 Unsloth Studio 中获得 1.8 倍的推理速度。指南

Qwen3.6：运行和训练 Qwen3.6；借助 MTP 获得 1.4～2.2 倍的推理速度，并为受支持的 GPU 提供 NVFP4 量化。指南

Gemma 4：运行和训练 Gemma 4 文本、图像及音频模型，支持 QAT、MTP、GGUF 和 MLX。指南

MCP 服务器：通过 Model Context Protocol 将本地模型连接到文件、应用、数据库和外部工具。指南

连接：在同一界面中混合使用本地模型、API 提供商（OpenAI、Anthropic）或服务器（vLLM、Ollama）。指南

Unsloth Studio 正式推出：这是我们用于运行和训练 LLM 的全新 Web UI。博客

训练 MoE LLM 的速度提升 12 倍，显存占用减少 35%——支持 DeepSeek、GLM、Qwen 和 gpt-oss。博客

嵌入模型：Unsloth 现在支持约 1.8～3.3 倍的嵌入微调速度。博客 • Notebooks

通过全新的批处理算法，强化学习上下文长度比其他所有方案长 7 倍。博客

全新的 RoPE 和 MLP Triton 内核，以及免填充与打包：训练速度提升 3 倍，显存占用减少 30%。博客

500K 上下文：现在可以在一张 80GB GPU 上，以超过 500K 的上下文训练 20B 模型。博客

FP8 和视觉强化学习：现在可以在消费级 GPU 上执行 FP8 和 VLM GRPO。FP8 博客 • 视觉强化学习

📥 高级安装

以下高级说明适用于 Unsloth Studio。有关 Unsloth Core 的高级安装，请查看我们的文档。

开发版安装会从 main 分支构建，这是最新的 nightly 源代码。

git clone https://github.com/unslothai/unsloth
cd unsloth
./install.sh --local
unsloth studio -p 8888

要安装到隔离位置（拥有独立的虚拟环境、auth/、studio.db、缓存和 llama.cpp 构建），请设置 UNSLOTH_STUDIO_HOME，并在启动时再次传入该变量：

UNSLOTH_STUDIO_HOME="$PWD/.studio" ./install.sh --local
UNSLOTH_STUDIO_HOME="$PWD/.studio" unsloth studio -p 8888

cd unsloth && git pull
./install.sh --local
unsloth studio -p 8888

开发者安装会从 main 分支构建，该分支包含最新的（nightly）源代码。

git clone https://github.com/unslothai/unsloth.git
cd unsloth
Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass
.\install.ps1 --local
unsloth studio -p 8888

要安装到隔离位置（拥有独立的虚拟环境、auth/、studio.db、缓存和 llama.cpp 构建），请设置 UNSLOTH_STUDIO_HOME，并在启动时再次传入：

$env:UNSLOTH_STUDIO_HOME="$PWD\.studio"; .\install.ps1 --local
$env:UNSLOTH_STUDIO_HOME="$PWD\.studio"; unsloth studio -p 8888

cd unsloth; git pull
.\install.ps1 --local
unsloth studio -p 8888

默认情况下，Unsloth Studio 绑定到 127.0.0.1（仅限本机）。要从其他设备访问，请选择以下方式之一：

--secure（推荐）：仅通过免费的 Cloudflare HTTPS 链接提供服务。Unsloth 仍绑定到 localhost，由隧道提供公共 URL；如果隧道无法建立，服务会以关闭状态失败（不会启动），因此原始端口绝不会暴露。

unsloth studio --secure -p 8888

-H 0.0.0.0：将原始端口绑定到所有网络接口，从网络中的任何位置均可访问（受防火墙限制）。它不会创建公共互联网 URL；添加 --cloudflare 后，即使位于防火墙之后，也会同时发布一个可通过互联网访问的 https://*.trycloudflare.com 链接。仅在你信任的网络中使用此选项。

unsloth studio -H 0.0.0.0 -p 8888

Cloudflare 隧道默认关闭：-H 0.0.0.0 只会暴露原始端口，不会提供公共互联网 URL。将通配符绑定与 --cloudflare 搭配使用（unsloth studio -H 0.0.0.0 --cloudflare），还可发布公共 https://*.trycloudflare.com 链接；或者优先使用上面的 --secure，它会保持原始端口私有。--cloudflare 对环回地址绑定不起作用。

使用通配符绑定时，Unsloth 会通过向 ifconfig.me 查询公共 IP 来确定要分享的地址，然后向 check-host.net 查询该端口是否可访问，以便告知你防火墙是否造成阻碍。这两项操作都会联系第三方。设置 UNSLOTH_STUDIO_DISABLE_PUBLIC_CHECK=1 可跳过这些检查；此时横幅会显示 LAN 地址，且不显示可访问性信息。

首次使用自动生成的管理员密码将 Unsloth 发布到公共 URL（--secure 或 --cloudflare）时，在公共链接上线之前，系统会在终端中要求设置新的管理员密码（隐藏输入并要求确认）。如果没有连接终端，系统会改为发出警告，并保留引导期限：除非在 Web UI 中更改密码，否则 Unsloth 会在 UNSLOTH_STUDIO_BOOTSTRAP_TIMEOUT 后关闭（默认为 1 小时）。

对于无法响应该提示的无头环境，请使用 --password 以非交互方式设置初始管理员密码（仅在尚未设置密码时生效；如果密码已存在，则会直接报错，因此之后请使用 unsloth studio reset-password 轮换密码）：

unsloth studio --secure --password 'your-strong-password'        # visible in `ps`/history
UNSLOTH_STUDIO_PASSWORD='your-strong-password' unsloth studio --secure   # via env var
printf '%s\n' 'your-strong-password' | unsloth studio --secure --password -   # via stdin

字面量形式的 --password VALUE 会出现在进程列表和 shell 历史记录中，因此自动化场景应优先使用 UNSLOTH_STUDIO_PASSWORD 环境变量或 --password -（标准输入）。这适用于任何启动方式（无论是公开启动，还是无头环境中的 -H 0.0.0.0 绑定）；密码会在服务器绑定端口之前由父进程设置，因此绝不会传递给重新执行的子进程。

服务端工具（Web 搜索、Python 和终端代码执行）默认启用，并以你的用户身份运行。任何能够通过 API 密钥访问服务器的人都可以在这台机器上运行代码，因此请妥善保管 API 密钥，并在暴露 Unsloth 时传入 --disable-tools。

安装程序选项可以通过环境变量传递。在 macOS、Linux 和 WSL 上，请将变量放在管道符之后，以便 shell 将其传递给 sh；在 Windows 上，请先通过 $env: 设置变量，再通过管道传给 iex。

跳过 PyTorch（仅 GGUF 模式）：

curl -fsSL https://unsloth.ai/install.sh | UNSLOTH_NO_TORCH=1 sh

$env:UNSLOTH_NO_TORCH=1; irm https://unsloth.ai/install.ps1 | iex

跳过安装完成后用于启动 Unsloth 的提示（适用于自动化安装）：

curl -fsSL https://unsloth.ai/install.sh | UNSLOTH_SKIP_AUTOSTART=1 sh

$env:UNSLOTH_SKIP_AUTOSTART=1; irm https://unsloth.ai/install.ps1 | iex

固定 Python 版本：

curl -fsSL https://unsloth.ai/install.sh | UNSLOTH_PYTHON=3.12 sh

$env:UNSLOTH_PYTHON='3.12'; irm https://unsloth.ai/install.ps1 | iex

使用 UNSLOTH_STUDIO_HOME 安装到自定义位置：

curl -fsSL https://unsloth.ai/install.sh | UNSLOTH_STUDIO_HOME=/abs/path sh

$env:UNSLOTH_STUDIO_HOME='C:\path'; irm https://unsloth.ai/install.ps1 | iex

在 macOS 上，安装程序默认使用系统证书存储（UV_SYSTEM_CERTS=1），因此 uv 会信任钥匙串中的 CA；在使用 TLS 检查代理（Cisco Umbrella、Zscaler 等）时需要此设置。可通过以下方式选择退出：

curl -fsSL https://unsloth.ai/install.sh | UV_SYSTEM_CERTS=0 sh

使用 UNSLOTH_NPM_REGISTRY 将前端构建指向企业 npm 镜像或代理（适用于防火墙阻止访问 registry.npmjs.org 时的开发者安装）：

UNSLOTH_NPM_REGISTRY=https://artifactory.example.com/api/npm/npm/ ./install.sh --local

$env:UNSLOTH_NPM_REGISTRY='https://artifactory.example.com/api/npm/npm/'; .\install.ps1 --local

该值会作为 --registry 传递给 Unsloth 前端的 npm/bun 安装过程；供应链锁定措施（最短 7 天发布时间限制和精确版本固定）仍然有效。

在高核心数主机上限制 Unsloth 的原生 CPU 线程池：UNSLOTH_CPU_THREADS=8 unsloth studio -p 8888。

彻底移除 Unsloth Studio 的推荐方式是使用与你的操作系统相匹配的卸载脚本。它会停止所有正在运行的服务器，移除安装目录、启动器数据目录、桌面快捷方式以及平台特定条目（Mac 上的 macOS .app 包和 Launch Services；Windows 上的“开始”菜单项、HKCU\Software\Unsloth 注册表项和用户 PATH 条目）：

macOS、WSL、Linux：curl -fsSL https://raw.githubusercontent.com/unslothai/unsloth/main/scripts/uninstall.sh | sh

Windows（PowerShell）：irm https://raw.githubusercontent.com/unslothai/unsloth/main/scripts/uninstall.ps1 | iex

如果只想删除安装目录，并保留启动器或快捷方式以便稍后重新安装，可以改为运行 rm -rf ~/.unsloth/studio（Mac/Linux/WSL）或 Remove-Item -Recurse -Force "$HOME\.unsloth\studio"（Windows）。这些操作均不会影响位于 ~/.cache/huggingface 的模型缓存。

有关更多信息，请参阅我们的文档。

你可以通过模型搜索中的垃圾桶图标删除旧模型文件，也可以从默认 Hugging Face 缓存目录中移除相应的缓存模型文件夹。默认情况下，HF 使用：

macOS、Linux、WSL：~/.cache/huggingface/hub/

Windows：%USERPROFILE%\.cache\huggingface\hub\

💚 社区与相关链接

你可以按以下方式引用 Unsloth 仓库：

@software{unsloth,
  author = {Daniel Han, Michael Han and Unsloth team},
  title = {Unsloth},
  url = {https://github.com/unslothai/unsloth},
  year = {2023}
}

如果你使用 🦥Unsloth 训练了模型，可以使用这张很酷的贴纸！

Unsloth 采用 Apache 2.0 和 AGPL-3.0 双重许可模式。Unsloth 核心软件包仍采用 Apache 2.0 许可证，而某些可选组件（例如 Unsloth Studio UI）则采用开源许可证 AGPL-3.0。

这种结构有助于支持 Unsloth 的持续开发，同时保持项目开源，并推动更广泛的生态系统继续发展。

感谢让用户能够通过 Unsloth 运行和保存模型的 llama.cpp 库。

感谢 Hugging Face 团队及其 transformers 和 TRL 库。

感谢 Pytorch 和 Torch AO 团队所作的贡献。

感谢 NVIDIA 提供 NeMo DataDesigner 库并作出贡献。

当然，也感谢每一位为 Unsloth 作出贡献或使用过 Unsloth 的人！