本地运行 AI 模型的硬件成本对比

这里记录每周值得分享的科技内容，周五发布。

本杂志开源，欢迎投稿。另有《谁在招人》服务，发布程序员招聘信息。合作请邮件联系（[email protected]）。

上海某商场正在举办的“海绵宝宝”展览。（via）

自己在家运行 AI 模型，可以选择两种硬件。

一种是独立显卡。目前最顶级的消费级显卡是英伟达的 RTX 5090，带有 32GB 显存，售价约为 3 万元人民币。

另一种是采用板载芯片组（CPU + 板载显卡 + 板载内存）的家用电脑。比如，采用 AMD 公司 Strix Halo 芯片组（具体型号为 Ryzen AI Max+ 395）的迷你电脑，自带 128GB 内存，售价约为 2 万元人民币。

大部分人可能不假思索，就会选择独立显卡，毕竟独立显卡的算力远大于板载芯片组。

根据我查到的资料，下面是两者的单精度 32 位浮点数算力（FP32）。

独立显卡（RTX 5090）：104.8 TFLOPS

板载芯片组（AMD Ryzen AI Max+ 395）：14.8 TFLOPS

可以看到，独立显卡的算力足足是板载芯片组的 7 倍。如果是更小位数的浮点数计算（比如 FP16 和 FP4），算力差距就更大了。

但是，我告诉你，正确的答案其实是“不确定”。很多时候，板载芯片组的迷你 PC 才是更好的本地 AI 模型解决方案。

原因很简单：大多数 AI 模型（只要参数规模稍大），RTX 5090 根本运行不了。

问题出在它的 32GB 显存实在太少了。一个 70B 参数的模型，如果每个参数使用 4 位精度，那么将所有参数的权重读入内存，大约需要 32.6GB 内存。这超出了 RTX 5090 的显存大小，它根本跑不起来。

相比之下，AMD 迷你电脑的板载内存有 128GB，载入模型毫无困难。板载芯片组的内存由显卡和 CPU 共用，所以称为“统一内存”。它的好处是，可以把尽可能多的内存分配给单个处理器，因此能够处理内存消耗量很大的 AI 模型。

苹果的 M 系列芯片一直采用这种“统一内存”架构，其他厂商现在也跟进了。AMD 的 Strix Halo、NVIDIA 的 DGX Spark、Intel 的 Core Ultra 和高通的 Snapdragon X 都采用这种架构。除了内存容量大，它的价格也比独立显卡低。

读到这里，你可能会问：既然板载芯片组有这些优点，还有必要购买独立显卡吗？

回答是，内存有两个指标。除了容量大小，还有一个指标叫作“内存带宽”。板载芯片组的弱点，恰恰就是内存带宽。

所谓“内存带宽”，指的是内存向处理器传送数据的速度。虽然 RTX 5090 显存不多，但是内存带宽极大，达到了 1792GB/s，而 AMD 的内存带宽只有 256GB/s。

AI 模型每生成一个 Token，都需要处理器从内存中读取整个模型并进行计算。如果内存带宽是 256GB/s，那么对于 40GB 大小的模型，处理器一秒只能读取 6 次（256 除以 40），也就是说，每秒只能生成 6 个 Token（这是理论值，实际可能还达不到）。这样的龟速，谁能忍受？

即使是内存带宽最大的苹果 M3 Ultra 芯片，带宽也只有 819GB/s，每秒可以生成 20 个 Token，远不如 RTX 5090 的 1792GB/s。

所以，内存大小和内存带宽都是 AI 模型的瓶颈。这也是高带宽内存（HBM）价格涨疯了的原因。

如果你选择板载芯片组的迷你电脑，就要做好心理准备，忍受非常慢的 Token 生成速度。

好在，为了节省计算量，出现了“混合专家模型（MoE）”这种架构。它计算 Token 时，不需要读取全部参数，只需要激活一部分参数即可。

以 Qwen3-30B-A3B 模型为例，它包含 30B 个参数，但每次只激活 3B 个参数，因此每个 Token 需要读取的数据量不是 20GB，而是 2GB。那么，在 AMD 迷你电脑上，每秒理论上可以生成 100 多个 Token，这样的速度就相当不错了。

因此，如果你使用“统一内存”模式的迷你电脑，就选用 MoE 模型吧。

另外，迷你电脑还有一个很大的缺点。这个缺点跟内存无关，而跟它的算力慢有关。

我们知道，模型必须先处理用户的提示词，然后才能生成 Token。因为迷你电脑的算力慢，所以它处理提示词也很慢。

根据实际测算，AMD 迷你电脑使用 70B 模型时，提示词处理速度是每秒 95 个 Token。那么，用户提交一个包含 4000 个 Token 的文档，大约需要 40 秒才能处理完，然后才能输出第一个 Token。

可以想象，一旦用户往上下文窗口塞入更多内容，单单是处理提示词，就会耗费几分钟到几十分钟。

总之，现阶段想在本地电脑运行大模型，无论是独立显卡还是板载芯片组，都有缺陷。你最多只能运行一些中等规模的 MoE 模型，而且提示词不能很长。

传说中，编程有两大难题：一个是缓存失效，另一个是变量起名。

其中，布尔变量尤其难起名。怎样才能贴切地表达，这个变量表示“真”（true）和“伪”（false）的布尔值呢？

我最近读到一篇文章《布尔变量起名的艺术》，提出只使用四个前缀，就能正确地为布尔变量起名。我觉得很有启发。

（1）is-：描述事物的状态，后面跟形容词，比如 isActive、isDeleted、isEmpty。

（2）has-：描述事物的所有权或包含关系，后面跟名词，比如 hasAccess、hasChildren、hasValidationErrors。

（3）can-：描述事物的能力或权限，比如 canEdit、canDelete、canRetry。

（4）should-：描述事物的意图或逻辑，比如 shouldRetry、shouldCacheResponse。

除了这四个前缀，起名还有另一条规则：永远不要在布尔变量名中使用否定词。

比如，不使用 isDisabled，而要使用 isEnabled = false。

OpenAI 公司刚刚推出了一款便捷键盘，方便操作 AI 代理。

键盘下方是一排快捷键，用于批准、否决、语音输入等操作。上方是一排 RGB 灯，表示 AI 代理目前的状态（思考、运行、等待、完成）。

这东西售价 230 美元，看上去毫无新意，也未必比普通键盘方便。

著名设计师乔纳森·艾维（Jony Ive）离开苹果公司后，现在负责 OpenAI 的硬件设计。大家都盼望他能拿出让人眼前一亮的智能硬件，但最先亮相的这个小键盘，真是让人失望。

天问二号探测器于 2025 年 5 月发射，经过约 400 天的飞行，终于到达了目标——小行星 2016HO3，并传回了照片。

这颗小行星的长度约为 20 米，只比半个标准篮球场大一点，形状不规则，并有尖角。这表明它应该是碰撞后的碎片，而不是熔岩冷却形成的。

天问二号拍摄照片时，距离这颗小行星 20 公里。下一步将按照计划，采集这颗小行星的岩石样本并送回地球。

这件事的难点在于，天问二号的翼展达到 15 米，只比这颗小行星小一点，采样时可能会改变小行星的轨道。

一位荷兰设计师发明了家用风力编织机，可以安装在阳台或楼顶。

风力带动叶片，在一个圆形的编织转盘上，将毛线编织成围巾。

风大的时候，编织速度非常快。它看上去是一个纯粹的机械装置，没有用到风力发电。

设计师的原意是向人们展示，在城市的楼宇里也可以利用风力。

作者是一位美国的机器学习博士毕业生，已经进入 DeepMind 工作。本文是对求职过程的回顾和总结。

2、使用 DNS 通过 ACME 认证（英文）

免费 HTTPS 证书需要通过 ACME 协议颁发。该协议要求认证域名所有权，一种认证方法就是使用 DNS。本文介绍这是怎么回事。

本文认为，Go 语言的处境尴尬，前途不被看好。“随着慢语言变得更快，难语言变得更容易，Go 所占据的中间地带将不复存在。”

4、JavaScript 哈希算法速度比较（英文）

MD5 和 SHA256 都是常用的哈希算法。本文探讨在 JavaScript 语言中，这两种哈希算法谁的生成速度更快。答案可能跟你想的不一样。

作者制作了一张图（上图），列出了命令行可以使用的控制符快捷键（比如快捷键 Ctrl-C 用于终止当前命令），一共 33 个。

作者回忆著名物理学家理查德·费曼曾经加入他的创业公司，一起开发超级计算机，其中有很多有趣的内容。

macOS 的顶部菜单栏应用，可以显示当前插入电脑的 USB-C 电缆特征。

一种简化 Bash 语法的新语言，它的脚本可以编译成 Bash。

一种轻量级的 JS/TS 语言运行时，好像是自己从头开始编写的，二进制文件只有 8MB。

4、屏译（Screen Translator）

开源 Android 应用，实时屏幕翻译工具。（@ciddwd 投稿）

使用 GPU 进行高速文字识别（OCR）的工具。（@nataell95 投稿）

另有一个纯本地的文字识别库 light-ocr，提供 JS/C++ API。（@eric8810 投稿）

该网站可以上传 CSV 数据文件，自动生成可视化图形。

一个开源的 CRDT 同步算法库，用于多人实时同步状态。

一个自托管、基于 Web 的常见文件格式转换服务，还支持图像 OCR、音频转文字。

非官方的 Hugging Face 开源跨平台客户端，用于浏览和下载模型、数据集等。（@fzlzjerry 投稿）

编程代理 Pi agent 的插件，可以自动批准低风险的权限确认，高风险操作依然会交给用户确认。（@Europa2061 投稿）

这个工具会将指定网站的内容抓取成一个 JSON 文件，然后上传到 ChatGPT，从而生成该网站的聊天机器人，让你可以跟该网站聊天。

一个模仿 OpenAI、对输入文本进行词元分解（tokenization）的开源实现。

暗网 Tor 网站的网关，使普通浏览器可以访问 Onion 网址。

一个很有意思的网站。一支美国大学乐队在 2001 年录制了一张专辑，随后就解散了。

现在，他们让 AI 将当年的录音改成 2026 年的风格。该网站把两种录音同时放出来，让大家比较。

音乐真是很神奇。20 多年前的音乐毫无时光的痕迹，吉他声仿佛还是昨天。

3、迷宫算法（Maze Algorithms）

环岛一般都位于交通繁忙的路口，但是在大西洋的法罗群岛，有全世界独一无二的海底环岛。

上图是法罗群岛的海底隧道示意图。在黄圈处，隧道一分为二，通向两个不同的岛屿。这里就建了一个海底环岛。

为了引起司机的注意，政府请来艺术家，将其画成水母的形状。

人们原本以为 AI 会节省时间、减少工作量，但加州大学的一项调查发现，事实恰恰相反。AI 增加了工作量，让工作强度变大，使人们产生职业倦怠。

为什么 AI 不仅没有减少工作，反而增加了工作呢？原因可能有下面几点。

（1）工作职责范围扩大。产品经理现在开始编写代码，研究人员开始维护服务器。人们的工作职责不再那么分明，而是变得模糊不清。员工们开始处理职责范围之外的工作，AI 让这种转变变得切实可行。

这产生了连锁反应。工程师们突然发现，自己需要审查、纠正和指导非程序员同事的代码，因为那些同事正在进行“氛围编码”（vibe coding）。

在自己专业领域以外进行工作自动化的人，实际上给其他人带来了更多工作。

（2）工作与生活的界限模糊化。AI 的对话式界面让工作变得轻松便捷，不再有面对空白页面的无助感，也没有令人望而生畏的学习曲线。

因此，员工们开始在离开办公桌前（比如上厕所前）发送“快速提示”，让 AI 在他们离开期间处理一些琐事。许多人甚至会在休息时间输入提示词，让 AI 去运行任务。这些在非工作时间使用 AI 处理的工作累积起来，导致休息时间减少，工作时长大幅增加。

（3）多任务处理激增。由于 AI 给人一种任务可以在后台处理的错觉，因此员工被要求同时管理多个工作流程。

这样做表面上可以提升生产力，但实际上往往转化为不断切换注意力，以及越来越长的任务清单。

（4）以上因素形成自我强化循环。AI 让事情变得更简单，于是员工们做了更多事情，导致他们更加依赖 AI 来简化这些事情。如此循环往复，最终导致倦怠。

研究人员指出：“一些参与者表示，虽然他们感觉工作效率更高了，但并没有感觉轻松，反而感觉比以前更忙了。”

（5）解决方法。研究人员提出，为了解决 AI 带来的职业倦怠，公司应该制定有意识的对策，规范员工如何使用 AI。

AI 模型的世界就像一座城市，里面有五个企业总部区域，以及一个中国城。

AI 是一个完全的黑箱。这意味着，所谓的“AI 工程”或“提示工程”完全是骗局，任何声称能够以某种巧妙方式操控黑箱的说法都是虚假的。

你无法探究 AI 的运行逻辑，它只是一种由机器实现的“相信我，兄弟”。

我有一台面包机，它几乎包办一切：揉面、发酵、烘焙。我把原料倒进去，按下一个按钮，三个小时后，面包就出炉了。

嗯，三年里我大概只用过这台机器两次。相反，我每周都会去超市买一条包装好的预切片面包。

这解释了为什么即使 AI 可以轻松生成代码，SaaS 公司仍远未走向衰落。

——《为什么便利总是胜出，以及为什么 SaaS 不会消亡》

不要看重 Product Hunt（#307）