本地部署Meta Llama的入门指南

在上一篇文章中，我介绍了 AI 工具如何彻底改变了我的开发工作流。在文章结尾，我一步步分享了如何在本地计算机上托管 Meta Llama LLM。

因为这部分内容排在文章最——后面，我觉得有必要单独写一篇文章，把这些步骤整理出来，毕竟很多人都觉得它很有价值。

下面就来看看我是如何通过几个简单步骤，开始使用 Llama（以及其他可用的开源 AI 模型）的。

第 1 步：在本地计算机上下载并安装 Ollama

访问 Ollama 官方网站，根据你的操作系统，快速下载适用于 Windows、Mac 或 Linux 的 Ollama。

Ollama 是一款轻量级工具，可以让你在本地计算机上运行 Large Language Model，例如 Llama 3.2、Mistral 和 Gemma 2。安装完成后，你就可以直接在本地运行和自定义模型。

第 2 步：运行 Ollama 安装向导

下载完成后，打开 Ollama Setup 可执行文件，按照安装向导的指引，将 Ollama 工具安装到计算机上。

和你预想的一样，Ollama Setup Wizard 会快速添加运行 Ollama 工具所需的全部文件。

第 3 步：验证 Ollama 是否安装成功

如果 Ollama 已正确安装，现在应该就能通过常用的命令提示符访问它。

安装 Ollama 时，有时系统会自动打开命令提示符窗口；如果没有，就需要你自己打开。

在 Windows 计算机上搜索 "cmd"，即可打开 Command Prompt。

打开后，输入下面这行命令并按 Enter/Return 键，验证是否安装成功：

ollama

你应该会看到类似下面的输出：

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

第 4 步：安装并运行 Large Language Model

安装好 Ollama 后，距离在自己的计算机上拥有一个本地 LLM 就只差最后一步了。

首先，让我们安装 Meta 的 Llama3.2 模型。

在命令提示符窗口中输入：

ollama run llama3.2

这条命令会完成两件事：

• 如果计算机上还没有 Llama3.2，就安装它
• 运行 Llama3.2 模型

按下 Return/Enter 键。如果尚未安装 Llama3.2，你应该会看到类似下面的内容：

pulling manifest
pulling dde5aa3fc5ff...  26% ▕████████████                                            ▏ 532 MB/2.0 GB   32 MB/s     48s

Ollama 会下载 Llama3.2 模型并将其安装到你的计算机上。安装完成后，它会自动运行 llama3.2 模型，供你与之交互。

在命令行窗口中，你应该会看到类似下面的内容：

pulling manifest
pulling dde5aa3fc5ff... 100% ▕████████████████████████████████████████████████████████▏ 2.0 GB
pulling 966de95ca8a6... 100% ▕████████████████████████████████████████████████████████▏ 1.4 KB
pulling fcc5a6bec9da... 100% ▕████████████████████████████████████████████████████████▏ 7.7 KB
pulling a70ff7e570d9... 100% ▕████████████████████████████████████████████████████████▏ 6.0 KB
pulling 56bb8bd477a5... 100% ▕████████████████████████████████████████████████████████▏   96 B
pulling 34bb5ab01051... 100% ▕████████████████████████████████████████████████████████▏  561 B
verifying sha256 digest
writing manifest
success
>>> Send a message (/? for help)

就这么简单，现在你的本地计算机上已经有一个 LLM 了！

另外，如果你想安装 Ollama 提供的其他模型，同样可以使用这条命令：

ollama run MODEL_NAME

第 5 步：测试你的 Large Language Model

现在 Llama3.2 已经安装到计算机上，让我们测试一下。

先向它提出一个简单的问题：

Hey Llama! Could you tell me a little bit about yourself?

随后，你应该会得到类似下面的回答：

Hey Llama! Could you tell me a little bit about yourself?
I'm happy to chat with you. I'm an artificial intelligence model known as Llama, which stands for "Large Language
Model Meta AI." My primary function is to process and generate human-like text based on the input I receive.

I was trained on a massive dataset of text from various sources, including books, articles, and online
conversations. This training allows me to understand and respond to a wide range of questions, topics, and styles.

Some key features of my abilities include:

.....

看吧！是不是相当简单？

就这样，你的 Llama LLM 应该已经顺利地在本地计算机上运行起来了。

如果你想查看 Ollama 的文档，可以前往其官方文档页面。

如果你想尝试一款 GUI，以便更轻松地使用 Ollama，可以看看 Open Web UI。希望不久之后，我也能写一篇文章，一步步介绍如何完成它的配置。

在那之前，好好享受属于你自己的 Llama 私人助手吧！

图片来源（按出现顺序）

封面图片由 Google Gemini 根据以下 prompt 生成：一只羊驼脸上带着自信的坏笑，身披印有无限符号的蓝色斗篷，在夕阳下飞来，准备拯救世界——卡通风格插画。

在我的社交媒体上关注我：Linktree 用户名 bradstondev。

部分评论可能只有登录后的访客才能看到。请登录以查看全部评论。

如需采取进一步措施，你可以考虑屏蔽此人和/或举报滥用行为。