1GB显存跑1.5B模型：LoRA微调+GGUF量化实战

在本地运行大语言模型通常需要昂贵的硬件和高显存。然而，对于离线问答和知识检索等专业任务，轻量级、高度优化的小语言模型（SLM）可以以极低的成本提供惊人的速度和效率。

在这篇文章中，我将分享如何微调 moeinGTS 1.5B、将其量化为 GGUF，并部署用于快速离线推理。

🚀 模型概览：moeinGTS 1.5B

moeinGTS 是一个紧凑的 15 亿参数语言模型，基于维基百科和结构化数据集进行微调，专门用于快速、准确的问答。

🛠️ 管道：微调与部署

数据集与训练：在高质量问答和知识检索数据集上微调，以提高简洁事实响应的能力。

LoRA 微调：通过 PEFT 应用低秩适配（LoRA）来优化训练效率并保持资源使用最小化。

量化：将模型权重转换为 GGUF 格式，以实现跨平台执行，支持低端硬件、CPU 和边缘设备。

💻 快速开始：本地运行

您可以使用 Ollama 通过 Hugging Face 直接在终端中即时运行 moeinGTS：

# Run GGUF version directly via Ollama
ollama run hf.co/arshiysohrevardi/moeinGTS1.5-1.5b-F16-GGUF