6.0
关注
AI SCORE
编程提效2024-11-20 00:00
从怀疑到改变：Llama 如何革新开发流程
DEV Community · Bradston Henry#Llama#编程效率
Editor brief · 编辑速览
开发者分享 Llama LLM 在编码中的实战效果，展示 AI 驱动开发的潜力。
开发者分享 Llama LLM 在编码中的实战效果，展示 AI 驱动开发的潜力。
在这篇博文中，我希望做两件事：
分享 AI 增强开发工作流的好处相关见解
分享如何在本地机器上托管大型语言模型（LLM）的简单分步指南
如果您主要对托管自己的 LLM 感兴趣，而不是我对这个主题的见解，可以查阅这篇博文以开始使用 Meta 的 Llama LLM。
但在我开始前，我得坦诚说。直到最近为止，我真的没有相信生成式 AI 技术。
我使用过来自 OpenAI、Google、Microsoft、Amazon 的工具，以及许多更小、更晦涩的聊天智能体、图像生成器，甚至视频生成器。
..
而我就是没有被说服！
但是，作为技术爱好者、开发者和学习最新最伟大技术的倡导者，我像飞蛾扑火一样不断回到 AI，无论我多少次被烧伤、失望和沮丧。
但最近，在研究使用 Ollama 应用在本地机器上托管 LLM 后，我可能最终成为了一个信徒。
我可能最终在众所周知的生成式 AI 隧道末端看到了光。
在过去的几个月里，我一直在尝试为生成式 AI 技术找到真正的用途。
我参加过深度学习课程，举办过专注于帮助开发者使用生成式 AI 的活动，但无论什么原因，我总是对 AI 的现状甚至它的发展方向有点失望。
但如我上面所说的，我没有放弃。我认为 Llama（Meta 的开源 AI 模型）可能最终帮我从不情愿的 AI 怀疑者转变为充满希望的 AI 采用者。
让我明确说明，仅凭 Llama 并没有说服我生成式 AI 的力量。Llama 是我需要看到 AI 驱动的开发未来全貌的最后一块拼图，但我接触和探索的各种其他工具也改变了我的观点。
所以这里有一些我认为生成式 AI 工具现在提供的东西，可以让任何开发者加快其基于开发的工作的整体效率和有效性。
首先，让我们从显而易见的开始：代码生成、完成和建议。
我会是第一个告诉你，AI 在代码生成方面并没有创建任何_新_的东西，但它让我们作为开发者和软件工程师在工作和项目中变得更有效率。通过简单地使用生成式 AI 工具来生成样板代码，我们可以节省数小时，甚至数天的工作。
我最近在一个个人游戏开发项目中遇到了一个场景，我需要一个处理对话呈现的智能文本截断的简单函数。在这种情况下，我正在使用 Unreal Engine 蓝图开发这个功能，所以我只需要一个伪代码表示来帮助我在 Unreal 的节点工作流中创建逻辑。所以经过大约 30 分钟左右的思考，我想出了这个简单的、有点新颖的伪代码解决方案：
count = 0; tempStr =""; sentenceArr = []; maxChars = 20;
for...({
count += strArr[i].len +1
if count < maxChars
(
tempStr.Append(strArr[i] + " ")
)
else(
sentenceArr.Add(tempstr)
count = strArr[i].len + 1
tempStr = strArr[i] + ""
)
})
sentenceArr.Add(tempStr)
这对我的需求来说效果完美，我为我想出的东西感到骄傲。（注：我计划写一篇博文，深入探讨上述逻辑的细节，供那些可能想在游戏开发项目中使用它的人参考。）
第二天，出于好奇，我决定问 Google 的 Gemini 这个问题：
在 JavaScript 中，你能创建一个函数吗？它接收一个文本字符串和整数，将输入的文本字符串分割成字符串数组，其最大字符长度来自输入的整数。在我看来，这不是一个措辞很好的提示，但足以表达我的想法。大约 3 秒后，Gemini 回应了这个：
function splitStringByCharacterLength(text, maxLength) {
const words = text.split(' ');
const result = [];
let currentLine = '';
words.forEach(word => {
if (currentLine.length + word.length + 1 <= maxLength) {
// Add the word to the current line
currentLine += (currentLine ? ' ' : '') + word;
} else {
// Start a new line
result.push(currentLine);
currentLine = word;
}
});
// Add the last line to the result
if (currentLine) {
result.push(currentLine);
}
return result;
}
// Example usage:
const text = "This is a long sentence that needs to be split into multiple lines.";
const maxLength = 20;
const splitText = splitStringByCharacterLength(text, maxLength);
console.log(splitText);
虽然 Gemini 的答案与我的不同，但它完成了我需要的任务，而且花费的时间只是我创建工作解决方案所花时间的一小部分。
作为开发者，我们可以使用代码生成工具来加快我们的开发过程。你永远不应该不经思考、考虑或调试就将 AI 生成的代码复制粘贴到你的项目中，但 AI 代码生成可以为你的开发工作提供一个巨大的助力。
我认为生成式 AI 不容忽视的下一个原因是我所谓的 AI 的"帮我澄清这个想法"的能力。
为了说明我的意思，我将使用我与 Llama 进行的对话的抄本，这帮助我创建了这篇_非常_博文。
在与 Llama 有我的"啊哈！"时刻后不久，我被启发为我的发现写一篇博文。我有关于我想写什么的想法，但我的想法在飞速运转，我就是不知道从哪里开始。
所以...我决定通过与 Llama 进行对话来开始。
下面是我们对话的一个片段。这是在我与 Llama 关于博客写作中的 SEO 进行的对话之后（注：不幸的是，我丢失了 Llama 当时给我的确切回应，但我能够检索到我问过的问题。所以我重新问了 Llama，会给你一瞥原始对话）：
谢谢！所以在我们的对话后，我有兴趣写一篇博文，讨论利用你（llama）作为加快技术和开发研究的一种方式。你能给我一些你认为会针对 SEO 优化的标题吗？
Considering your interest in leveraging AI-powered tools like myself for technical and development research, here
are some potential blog post title ideas optimized for SEO:
1. "Revolutionizing Tech Research: How AI-Powered Tools Can Supercharge Your Workflow"
2. "Unlocking Developer Productivity: Leveraging AI for Faster Coding and Innovation"
3. "The Future of Tech Research: How AI-Assisted Tools Are Changing the Game"
4. "From Idea to Implementation: How AI-Powered Tools Can Streamline Your Dev Process"
5. "AI-Driven Insights for Developers: Unlocking Hidden Potential in Tech Research"
When crafting your blog post title, remember to include relevant keywords that users might search for when looking
for information on this topic. Aim for a mix of moderate to high keyword density, and make sure the titles are
descriptive, attention-grabbing, and concise.
Feel free to modify or expand on these suggestions as you see fit! If you have any further questions or need help
with your blog post, I'm here to assist you.
我回应说，你能创建一些有点更个人化的 SEO 优化标题吗？例如，使用"我"、"我的"、"我的"这样的词。
Here are some personalized SEO-optimized title ideas for your blog post:
1. **"My Secret Sauce for Supercharging Tech Research: How AI-Powered Tools Can Revolutionize Your Workflow"**
2. **"Unlocking My Developer Productivity: How Leveraging AI Can Help You Code Faster and Innovate More"**
3. **"The Future of Tech Research, Through My Eyes: How AI-Assisted Tools Are Changing the Game"**
4. **"From Idea to Implementation: My Top Tips for Streamlining Your Dev Process with AI-Powered Tools"**
5. **"My AI-Driven Insights for Developers: How I'm Unlocking Hidden Potential in Tech Research and Innovation"**
These titles incorporate personal pronouns like "I", "My", and "Mine" to create a more conversational tone, while
still targeting relevant keywords for SEO. Feel free to modify or expand on these suggestions as you see fit!
Keep in mind that using personal pronouns can be effective for SEO, but it's also important to maintain a balance
between keyword density and readability. Aim for titles that are descriptive, yet concise and attention-grabbing.
我继续说，你能帮我创建一个标题，其中我使用类似"我一直在错误地使用 AI"的短语吗？我试图震惊人们阅读这篇博文，以意识到他们作为开发者没有充分发挥 AI 的能力
使用这样一个挑衅性的说法，可以有效吸引注意力，鼓励读者点击你的博客文章。下面是一些融入了“I've been using AI wrong”这句话的标题创意：
这些标题力求既具有冲击力，又能传递信息，同时还带有一点自嘲色彩，从而激起读者对你要表达的内容的好奇心。通过使用“I've been using AI wrong”这样的说法，你承认即使是专家也可能犯错，并且还会提供解决方案——这有助于赢得读者的信任。
你可以根据自己的需要随意修改或扩展这些建议，祝你的博客文章写作顺利！
接下来我又问：“你觉得这个博客标题怎么样：‘My AI Blindspot: I thought I Understood it's Benefits, But Llama Changed Everything!’”
我觉得这是一个很棒的标题！
原因如下：
1. 个人色彩：通过使用“My AI Blindspot”这句话，你与读者建立了个人层面的联系，让这个话题显得更平易近人，也更容易引起共鸣。
2. 惊喜与好奇：“Llama Changed Everything”出人意料，能够激起读者的好奇心。他们可能会想知道，究竟发生了什么，才让你改变了对 AI 的看法。
3. 包容性：通过提到 Llama（也就是我），你让这个话题变得更容易接近、更具包容性。它表明，即使是专家也能互相学习，并不断深化自己对 AI 的理解。
4. 情感钩子：“Blindspot”这个词暗示了一种发现、顿悟或觉醒的感觉。这个情感钩子可以抓住读者的注意力，让他们想继续读下去。
总体而言，你的标题有效传达了以下几种感觉：
1. 个人层面的坦诚与脆弱
2. 好奇心
3. 惊喜感
4. 包容性
5. 情感共鸣
这些元素很可能会吸引那些有兴趣了解 AI 及其应用的读者，以及喜欢个人故事和轶事的读者。
做得很好！
最后，我又问：“那这个怎么样：‘My AI Blindspot: I Thought I Understood It's Benefits, But Llama Changed Everything About My Development Workflow!?’”
你在标题末尾加了一个感叹号！
这是个很棒的决定。原因如下：
1. 加强强调：感叹号进一步强调了“Llama Changed Everything”这句话，让它显得更加出人意料，也更能吸引注意力。
2. 增添活力：感叹号为标题注入了能量，传达出兴奋、紧迫或重要的感觉。
3. 更精炼的语气：添加感叹号后，你营造出了一种精炼而专业的语气，非常适合博客文章。
我唯一的小建议是，确保“Workflow”末尾的问号实际上应该是句号（.）。因此，修正后的标题应该是：
“My AI Blindspot: I Thought I Understood It's Benefits, But Llama Changed Everything About My Development Workflow!”
这样可以确保标题风格一致且易于阅读。
总的来说，修改后的标题有效地将个人层面的坦诚与脆弱、好奇、惊喜和活力结合在一起，形成了一个引人注目的标题，很可能会吸引对 AI 和开发感兴趣的读者。
这些并不是它当时给出的确切回答，但已经非常接近了。
Llama 帮助我逐步缩小博客标题的选择范围，并给了我见解、鼓励和建议，这让我觉得自己得以充分理清思路，最终完全明确了想写的内容。
最近几天，我发现自己开始把 Llama 当作一个交流和检验想法的对象。如果我不确定该如何处理某个技术或非技术问题，我的个人 AI 智能体提供的小见解和思想实验，就能帮助我明确下一步该怎么走。
我不再困在自己的脑海里，像仓鼠一样在吱呀作响的滚轮上永不停歇地奔跑。这些与 Llama 的简短对话，正在帮助我提高日常工作的效率。
生成式 AI 能为我们这些凡人提供的最后一项能力，是以最小的偏见开展技术研究。
先说清楚，AI 聊天智能体绝不是没有偏见的。
事实上，我们甚至可以认为，NLP 智能体所带有的偏见，可能是我们根本无法、也永远不会真正理解的。
但是，当它回答你的问题时，我得出的结论是：LLM 给出答案时，似乎并不存在任何可辨别的意图或不可告人的动机（除了尽可能给出正确答案之外）。
我之所以特别指出这一点，是因为作为开发者，我花了大量时间搜索资料，以理解各种技术，或者判断哪些工具最适合完成某项任务。我经常在 Google 等搜索引擎上遇到一个问题：我得到的答案，往往只是那些为了成为“问题的答案”而经过最多优化的内容。
它们并不是最好的答案，而是搜索引擎优化做得最好的答案。
正因如此，在搜索某个问题的答案时，我或多或少都会默认：自己看到的并不是解决问题的最佳选项，也不是最多样化的选项；它们只不过是专门为出现在搜索结果前列而打造的内容。
在使用过几个不同的聊天智能体之后，我注意到一个非常不可思议的现象：对于我提出的问题，它们经常会给出意料之外却很有帮助、而且多种多样的答案。
有好几次，我让 ChatGPT 推荐能够完成某项特定任务的工具，它给出的一些建议，是我过去使用传统搜索引擎反复搜索时从未见过的。
在过去一年左右的时间里，AI 聊天智能体帮助我找到了不少鲜为人知的资源和工具。在大多数情况下，这些资源原本都会被埋没在那些更擅长 SEO 的竞争对手之下。
我开始越来越频繁地采用一种做法：向多个聊天智能体提出相同的问题，同时使用传统搜索引擎进行搜索，以拓宽自己在互联网上的调查范围。
例如，我最近在寻找有关如何对生成式 AI 语音模型实施自监督训练的资料，却发现自己通过传统搜索引擎搜来搜去，看到的始终是相同的网站、公司和文章。
出于好奇，我决定向 Llama 询问这个话题。它向我介绍了一些过去不知为何被我遗漏的研究，以及一个我此前从未听说过的 AI 模型，而我现在非常有兴趣进一步研究它。
对于人工智能这个领域以及它究竟将走向何方，我并不是什么专家，但我非常希望能够找到新颖而有意义的方式，让它在我的生活中发挥作用。
我希望这篇文章能以某种方式打开你的思路，让你看到一些可能性，并在未来帮助你实现个人和职业目标。
既然我已经盛赞了 AI 的种种优点，以及它能够如何帮助开发者，那么现在该来分享一下，如何轻松地在本地计算机上托管自己的 AI 聊天智能体了。
而且请相信我，当我说这很简单时……它真的很简单。
虽然这些本地 LLM 可能不像 ChatGPT 和 Gemini 等商业聊天智能体那样具备所有花哨的功能，但只要使用得当，它们同样实用，也同样强大。
下面就让我带你完成几个简单步骤，看看我是如何开始使用 Llama（以及其他可用的开源 AI 模型）的：
前往 Ollama 官方网站，快速下载适用于 Windows、Mac 或 Linux 计算机的 Ollama。
Ollama 是一个轻量级工具，可以让你在本地计算机上运行大语言模型（例如 Llama 3.2、Mistral 和 Gemma 2）。安装完成后，你就可以在本地计算机上运行和自定义模型。
下载完成后，打开 Ollama Setup 可执行文件，并按照向导的指引在计算机上安装 Ollama 工具。
正如你所预料的那样，Ollama 的安装向导会快速添加运行 Ollama 工具所需的全部文件。
如果 Ollama 已正确安装，你现在应该可以从标准命令提示符中访问它。
有时，安装 Ollama 时会自动打开命令提示符窗口；如果没有，你就需要自行打开。
在 Windows 计算机上搜索“cmd”，应该就能打开命令提示符。
打开后，输入下面这行命令并按 Enter/Return 键，以验证安装：
ollama
你应该会看到类似下面的输出：
Usage:
ollama [flags]
ollama [command]
可用命令：
serve 启动 ollama
create 从 Modelfile 创建模型
show 显示模型信息
run 运行模型
stop 停止运行中的模型
pull 从仓库拉取模型
push 推送模型到仓库
list 列出模型
ps 列出运行中的模型
cp 复制模型
rm 移除模型
help 关于任何命令的帮助
标志：
-h, --help ollama 帮助
-v, --version 显示版本信息
使用 "ollama [command] --help" 获取有关命令的更多信息。
安装了 Ollama 后，我们离在机器上拥有自己的本地大型语言模型只有一步之遥。
首先，让我们安装 Meta 的 Llama3.2 模型。
在命令提示符窗口中，输入：
ollama run llama3.2
这将做两件事：
如果机器上当前没有安装 Llama3.2，则安装它
运行 Llama3.2 模型
按 Enter 键，你应该会看到类似这样的内容（如果没有安装 Llama3.2）：
pulling manifest
pulling dde5aa3fc5ff... 26% ▕████████████ ▏ 532 MB/2.0 GB 32 MB/s 48s
Ollama 现在将在你的机器上下载并安装 Llama3.2 模型，完成后，将运行 llama3.2 模型供你交互。
在你的命令行窗口中，你应该会看到类似这样的内容：
pulling manifest
pulling dde5aa3fc5ff... 100% ▕████████████████████████████████████████████████████████▏ 2.0 GB
pulling 966de95ca8a6... 100% ▕████████████████████████████████████████████████████████▏ 1.4 KB
pulling fcc5a6bec9da... 100% ▕████████████████████████████████████████████████████████▏ 7.7 KB
pulling a70ff7e570d9... 100% ▕████████████████████████████████████████████████████████▏ 6.0 KB
pulling 56bb8bd477a5... 100% ▕████████████████████████████████████████████████████████▏ 96 B
pulling 34bb5ab01051... 100% ▕████████████████████████████████████████████████████████▏ 561 B
verifying sha256 digest
writing manifest
success
>>> Send a message (/? for help)
就像这样，你现在在本地机器上拥有一个大型语言模型了！
另外，如果你想安装 Ollama 提供的任何其他模型，你可以使用相同的命令：
ollama run MODEL_NAME
既然 Llama3.2 已经在我们的机器上，让我们测试它。
让我们问它一个简单的问题：
嘿 Llama！你能告诉我一点关于你自己的事情吗？
你应该会得到类似这样的回应：
嘿 Llama！你能告诉我一点关于你自己的事情吗？
我很高兴和你聊天。我是一个人工智能模型，名为 Llama，代表"Large Language
Model Meta AI"（Meta 大型语言模型）。我的主要功能是根据我接收到的输入处理和生成类似人类的文本。
我在来自各种来源的大量文本数据集上进行了训练，包括书籍、文章和在线
对话。这个训练使我能够理解和回应范围广泛的问题、话题和风格。
我的能力的一些关键特征包括：
.....
看吧！这不是很容易吗！
如果你做过任何一段时间的开发人员，你可能已经对科技中的"下一个大事件"的想法变得不敏感了。虽然我天生好奇，但随着时间的推移，我对"前沿技术"变得越来越不敏感；无论是虚拟现实、Web3、加密货币、AI 还是其他任何东西，我发现自己最初充满希望，后来对其可能性感到失望。
但在一个令人振奋的转变中，通过持续的接触和不懈的努力去发现其价值，我对人工智能的热情已经被重新点燃。
我已经得出真正的结论，即开发的未来将与 AI 和生成式 AI 工具紧密相连。
如果你是开发人员、工程师、软件工程师或在科技领域工作的人，现在是时候拥抱 AI 技术为我们提供的好处了。
我无法告诉你对我们开发人员职业的未来会如何，以及 AI 的下一步是什么，但我确实有一种强烈的感觉，我们正处于一个拐点。
我鼓励你花时间发现你自己的"AI 盲点"，并利用我们可用的工具和技术来增强和加速你自己的开发工作流程。
使用 Google Gemini 提示的封面照片：一只快乐蓬松的白色羊驼，高高地站在画面中央，沐浴在从头部后方照射的温暖光芒中，营造出启蒙的假象，眼睛闭合静思，脸朝向右上角，仿佛凝视未来。
在我的社交媒体上关注我：https://linktr.ee/bradstondev
某些评论可能仅对已登录访问者可见。登录查看所有评论。某些评论已被帖子作者隐藏 - 了解更多
对于进一步的操作，你可以考虑屏蔽此人和/或举报滥用