U 盘离线模型在不同设备上的实测
同一个 U 盘里的 3B 模型加载后回答同一问题,在 M3 Mac 上用时 5 秒,在赛扬笔记本上用时 6 分 22 秒。两台分配了相同核心数和内存的虚拟机也分别耗时 32 秒和 2 分 40 秒,作者怀疑差距与虚拟机设置有关。
AI 深度解读
同一支 64 GB U 盘,插在 Mac 上,模型加载后约 5 秒就能答完一道题。换到搭载 Celeron 的 Windows 笔记本,同一个模型、同一道题要等 6 分 22 秒。作者在四套系统上都免安装跑起了 3B 模型,按他的体验,只有两套用起来比较顺手。
这次实测把三个容易混在一起的问题拆开了。U 盘影响多久能开始问,机器决定答案出得多快,模型大小还会影响答案能不能信。尤其是同一台小主机上的两台虚拟机,分到同样的核数和内存,答题时间却差了 5 倍。
一支 U 盘怎么在三种系统上启动
作者把 U 盘格式化成 exFAT,里面放一个 llamafile 运行器和两份独立的 .gguf 权重。FAT32 存不下超过 4 GB 的单文件,Qwen 权重就卡在这里。macOS 默认能读 NTFS,写入需要额外软件。exFAT 在 macOS 和 Windows 上有原生支持,Linux 从内核 5.7 起也有原生驱动。
llamafile 是 Mozilla 的项目,把 llama.cpp 和 Cosmopolitan Libc 放进同一个可执行文件,支持 macOS、Windows 10+、Linux 和 BSD 等系统。作者选了 llamafile-0.10.6,体积 368 MB,再配上 Llama-3.2-3B-Instruct-Q4_K_M.gguf 和 Qwen3-8B-Q4_K_M.gguf。两份权重都用了 Q4_K_M 量化,可以理解为用更低精度保存权重,减少文件体积。把权重和运行器分开放,还能避开项目文档提到的 Windows 下 4 GB 可执行文件限制。
复刻这套配置,原文给的空间预算是 U 盘至少空出 8 GB,本机留约 7.5 GB 下载。作者用 curl -fL 先下载到本机,把来源公布的 SHA-256 保存为 SHA256SUMS,在 macOS 用 shasum -a 256 -c SHA256SUMS,在 Linux 用 sha256sum -c SHA256SUMS,确认每项都是 OK 再复制。U 盘里另存一份同内容的 llamafile.exe,把它加入校验清单,再核一遍。Windows 上可用 Get-FileHash .\llamafile\llamafile.exe -Algorithm SHA256 核对。可信的校验值要另存一份,否则可执行文件和旁边的清单可能一起被替换。
从盘根目录启动时,macOS 和 Linux 用 ./llamafile/llamafile-0.10.6 -m models/Llama-3.2-3B-Instruct-Q4_K_M.gguf,PowerShell 用 .\llamafile\llamafile.exe -m .\models\Llama-3.2-3B-Instruct-Q4_K_M.gguf。作者用 Python subprocess 启动时遇到 Exec format error,在命令前加 sh 后跑通。没有传 --server、--chat 或 --cli 时,程序会同时启动终端聊天和 localhost:8080 上的 Web 服务。作者的日志显示 CORS 放行所有来源,也没有设置 API key。只用终端聊天可以传 --chat。
U 盘拖慢了启动,虚拟机拖慢了回答
作者用 Python 和 PowerShell 写了测试脚本。就绪时间从启动进程算到服务通过健康检查,测量前重新插入 U 盘。脚本问了三道题,分别是总结带数字的段落、修复重试函数、解释 HTTP 429。文中的答题时间取 HTTP 429 那题的多次运行中位数,Llama 和 Qwen 分别读入 58 和 37 个 prompt tokens,输出都按 200 tokens 计。
Mac 上,3B 模型从 U 盘加载用了 29 秒,从内置 SSD 加载用了 2 秒。加载完后,生成速度分别是 39 和 34 tokens/s。SSD 只测了一次,而且文件刚下载并校验过,可能受系统缓存影响。U 盘上的模型如果还在缓存里,也曾只用 1 秒就绪。这组数据能说明启动等候有明显差异,生成速度的几 token 差值缺乏足够的重复测量。四套系统的对比都在联网状态下完成,作者只在 Mac 上关掉 Wi-Fi 复测了 3B,速度仍约 40 tokens/s。
两台 Proxmox 虚拟机在同一颗 Ryzen 3 3300U 上运行,各给了 4 个 vCPU 和 8 GB 内存,都通过 USB 直通读取 U 盘。Kali 用 host CPU 类型,32 秒答完,Mint 用 x86-64-v2-AES,花了 2 分 40 秒。仅看处理输入的速度,Kali 是 17.7 tokens/s,Mint 是 1.9 tokens/s。作者怀疑差距主要来自 AVX2 等指令能否被虚拟机使用。x86-64-v2-AES 隐藏 AVX、AVX2 和 FMA,x86-64-v3 增加了这些能力以及 F16C,llamafile 会在运行时按可见的指令选择计算路径。
在 Linux 客户机里,这一行能查到虚拟机是否看得见 AVX2 和 FMA。
grep -o -w -E 'avx2|fma' /proc/cpuinfo | sort | uniq -c
这行没有输出,就表示客户机看不到这两个标志。原文给出的改法是 qm set <vmid> --cpu host,再用 qm reboot <vmid> 或关机后重新启动。如果集群需要实时迁移,原文给了所有节点都支持 v3 时使用 --cpu x86-64-v3 的选项。host 模式迁到 CPU 不同的节点时可能失败。作者没在同一台 Mint 虚拟机上切换 CPU 类型复测,两台虚拟机的发行版和内核也有差异,因此 5 倍差距还不能单独归因于 AVX2。
跑得起来以后,还要看机器和答案
双核 Celeron N4000 跑 3B 只有约 0.6 tokens/s。Qwen3 8B 开始加载后报 Terminating on uncaught SIGSEGV,日志显示运行器已切到 GPU 模式,可能用到了 Intel UHD 600。Mint 的 8 GB 环境跑起了同一模型。作者没用 --gpu disable 复测,崩溃原因未确定。N4000 的公开规格只列到 SSE4.2,Mint 也看不到 AVX,但两台都跑起了 3B,这和支持页上 AMD64 必须有 AVX 的说法冲突。作者猜测 0.10 重构之后文档没跟上,原文没有验证。
3B 能起跑,也会把常见代码写错。作者让 Llama 3.2 3B 修复重试函数,它给出的等待逻辑是这样的。
wait_time = min(10, attempt * 2) # exponential backoff
wait_time *= random.uniform(0.8, 1.2) # add jitter
第一行的 attempt * 2 按 0、2、4、6 秒线性增长,第一次重试还会立即发出。第二行的随机抖动改不了增长方式。Qwen3 8B 在这题给出了 initial_delay * (2 ** attempt)。解释 HTTP 429 时,3B 又把会话过期列为成因,而 RFC 6585 定义的是在一定时间里发了太多请求。8B 也会在正确回答里斯本是葡萄牙首都后,附上一条错误的年代信息。Qwen3 默认开启思考模式,作者在基准测试的 API 请求里通过聊天模板传 enable_thinking=False,模型卡还给出了按轮使用的 /no_think。
我的判断
这篇最有参考价值的是把冷启动、生成耗时和答案质量分开测。它能帮你定位一次等待发生在哪儿。至于作者建议普通笔记本先用 3B Q4,准备 8B 时优先考虑 16 GB 内存加近期 CPU 或 Apple Silicon GPU,这是基于手头几台机器的经验。原文既没有做内存阶梯测试,也没有验证 Windows GPU 卸载。文档把 Windows GPU 支持在 0.10 系列标为尽力支持,这次实测给不出更强的结论。
和 Ollama 相比,llamafile 的优势是跨系统时可以携带同一份运行器,Windows 只需保留 .exe 副本。Ollama 也可以按系统带独立二进制,常规使用则走安装器或服务。原文没有两者的性能对照。另一个实际前提是,免安装仍要能执行外部程序并写入临时目录。Unix 上会解出 ape 到 $TMPDIR,Mac 首次运行写了约 3 MB 的 Metal 支持文件到 ~/.llamafile,而且作者的 Mac 已有 Xcode Command Line Tools。要带去受管电脑或无网演示,这些条件都应该在目标机器上确认。
能拿来做什么
- 给断网演示备一套 3B Q4,在目标机上重新插盘、关网,记录从启动到能提问的时间,再跑一条固定问题记下回答耗时。
- 在 Proxmox 上跑本地模型时,先查客户机能看到的 CPU 指令。要知道 CPU 类型切换究竟有多大收益,就在同一台虚拟机里用同一个模型、同一条提示和同样的输出长度做前后对照。
- 用小模型起草前端请求封装或 Node 重试函数时,直接检查首次等待、指数增长和抖动。遇到 HTTP 429 之类的协议解释,回到规范核对再写进代码。
- 要在离线机器上处理不便外传的文本,可以让模型只做基于所给材料的摘要或草稿。只需要终端交互时,用
--chat启动。