Ollama是本地大模型运行标准入口,Mac/Windows/Linux全平台支持,一条ollama run llama3.2即可启动对话。
直接回答:Ollama(177,966 ★,MIT,GitHub 验证日期 2026-08-07)是在本地运行大语言模型最简单的方式。安装它,运行一条命令(ollama run llama3.2),你就在自己的机器上和一个模型开始对话了——小模型不需要 GPU,不需要云账号,也不需要按 token 计费。本指南涵盖安装、第一个模型,以及你真正会用到的命令。
Ollama 是一个本地模型运行器:它下载模型、提供服务,并附带一个简单的 CLI 和 API。它是 2026 年本地 LLM 的标准入口——MIT 协议许可、跨平台(macOS、Windows、Linux),由 GitHub 上最大的开源 AI 社区之一支持。
macOS:从官网下载安装包,拖到 Applications 文件夹。
Windows:下载安装包;模型在后台服务中运行。
Linux:
curl -fsSL https://ollama.com/install.sh | sh
安装完成后,用 ollama --version 验证。
就这样。模型会下载(几个 GB),然后你进入一个交互式聊天界面。想从更小、更快的模型开始?试试 ollama run qwen2.5:3b(约 2GB,在 CPU 上运行良好)。
CLI 够用,但如果想要 ChatGPT 风格的体验,可以用 Open WebUI(148,102 ★,GitHub 验证日期 2026-08-07)对接 Ollama 的 API。它提供了一个完整的聊天网页界面,包含历史记录、多模型选择和文档上传——仍然完全本地化、完全私密。
本地模型比前沿 API 的模型更小——7B-8B 模型令人印象深刻,但还达不到 GPT 的水平。对于编程、写作和日常聊天,它们确实很有用;但对于最困难的推理任务,API 模型仍然胜出。另外,"不需要 GPU"意味着更慢,而不是即时响应——CPU 推理可以工作,但在老旧硬件上可能会出现"等泡茶"的停顿。
我需要 GPU 吗? 不需要。小模型(3B-8B)在 CPU 上运行,虽然更慢但可以工作。有 GPU(8GB+)可以运行更大的模型并获得更快的响应。
需要多少磁盘空间? 每个模型 2-8GB。用 ollama list 查看,删除不用的模型。
我的数据是私密的? 是的——一切都在本地运行。没有云,没有对你提示词的遥测。
星标数是如何验证的? GitHub API,2026-08-07:Ollama 177,966 ★,MIT。Open WebUI 148,102 ★。
Ollama(177,966 ★,MIT,验证于 2026-08-07):安装 → ollama run llama3.2 → 本地聊天。加 Open WebUI(148,102 ★)获得完整界面。小模型无需 GPU,完全私密、免费。浏览完整 461 工具目录:ylyvip.net/tools。