LFM3 小模型的本地代理能力与边界

1 GB 左右的本地模型，能不能承担 AI Agent 的日常工作？这篇文章围绕 Liquid AI 的 LFM3 给出的答案是：工具调用、指令遵循和部分自动化任务可以考虑，复杂编程和知识问答仍要依赖更大的模型。

它值得读的地方，是把模型体积、长上下文内存和任务能力放在一起比较。但先划清证据边界：文中基准数字全部来自 Liquid AI，作者尚未完成本地实测，不能把厂商成绩直接当成日常使用体验。

约 1 GB 能装下什么，又装不下什么

按原文介绍，LFM3 于 2026 年 10 月 27 日发布，属于第三代 Liquid Foundation Models。主打的 LFM3-1.7B 是开放权重文本模型，拥有 17 亿参数，4-bit 精度下权重约占 1 GB，支持 256,000 token，也就是文中所称的 256K 上下文窗口。

这里有个容易误读的地方：约 1 GB 说的是量化后的模型权重，不是运行时全部内存。 输入变长后，还要给 KV cache 等运行数据留空间。

与上一代 LFM2.5-2.6B 相比，原文称它减少了 35% 的参数，能力仍有提升。不过，文章没有给出这组比较的完整任务明细。

首批产品也不只有文本模型。六款模型都从 LFM3-1.7B-Base 构建，规模约为 2B 参数，包括 Text、Vision、Audio、Omni，以及分别从 Vision 和 Omni 专门化而来的两款 Decision 模型。Liquid AI 表示，这些模型都能用单张 GPU 微调，但原文没有说明显存需求和微调配置。

省内存的关键，是没有每层都用全局注意力

LFM3 的 24 层由三种结构组成：13 层卷积、5 层滑动窗口注意力、6 层全局注意力。

可以把这套设计理解为分工：部分层处理附近的信息，少数层负责跨较远位置建立联系。相比每层都使用注意力的纯 Transformer，这种组合试图减少长输入带来的计算和内存负担。

结构也不是只靠纸面推导选出来的。Liquid AI 使用硬件参与的架构搜索，直接在 14 种设备与后端组合上测试候选方案，覆盖 Samsung Galaxy S26 Ultra、OnePlus 15、Raspberry Pi 5、Apple M4 Max、AMD Ryzen AI，以及 Arm、x86 云 CPU、GPU 和 Qualcomm Hexagon NPU。

这条路线的价值很实际：模型最终要在具体设备上跑，理论计算量少，不一定就代表真实延迟低。

厂商给出的内存比较是：128K 上下文下，LFM3-1.7B 的 KV cache 为 1.6 GB，Qwen 3.5 4B 则为 4.3 GB。速度测试使用 llama.cpp、Q4_0 量化和 32K 上下文，LFM3 的解码速度比他们测试中第二快的模型高 1.8 至 2.8 倍，同时使用最少内存。这个结论受测试设备、后端和候选模型范围约束，不能直接推广到所有部署环境。

赢过 Qwen 3.5 9B，不等于更适合写代码

文章最吸引人的比较，是 LFM3-1.7B 在 WebArena、AutomationBench 和函数调用等任务上超过参数量大五倍以上的 Qwen 3.5 9B，其中 AutomationBench 得分接近后者的 3 倍。

这些任务更关心模型能否理解指令、选择工具、组织参数，并沿着步骤完成操作。对这类 Agent，小模型把流程走对，可能比记住更多知识更重要。

但在衡量软件工程任务的 SWE-bench，以及知识能力相关的 GPQA 上，原文承认更大的模型仍然领先。擅长调用工具，不等于擅长理解大型代码库并完成可靠修改。

服务端数字也要分开看：Liquid AI 称，在单张 NVIDIA B300 上使用 SGLang、承载 1,024 个并发请求时，每天可生成 36 亿 token；他们还运行过超过 300,000 个并行 LFM3 Agent，分析 Enron 邮件档案。这些展示了吞吐规模，但文章没有交代请求长度、延迟和任务质量，不能据此推算个人电脑上的体验。

我的判断

我认可它把模型选择拉回具体任务：内存有限、数据需要留在设备上、流程依赖工具调用时，小模型确实有评估价值。原文提到 AMD、Qualcomm 和 Ambarella 支持发布并计划适配硬件，但计划支持不能直接等同于现有设备已经开箱可用。

需要打问号的是「最有效率」这个结论。文章没有提供完整测试表、复现步骤，也没有给出端到端成功率与成本的统一比较。作者只是计划下一步用 Ollama 安装测试，目前属于对厂商材料的解读。

与直接使用更大的 Qwen 相比，LFM3 的取舍是用更小的资源需求换取特定任务表现；与大小模型搭配相比，文章也没有给出路由策略或对照结果。哪些任务值得交给它，仍要由自己的工作样本决定。

能拿来做什么

• 如果你在做依赖工具调用的本地 Agent，可以整理常见指令、工具参数和失败案例，用完成率与参数正确率评估 LFM3，不要只看回答是否流畅。
• 如果部署目标是旧笔记本或有限内存设备，先测实际上下文长度下的总内存、首个 token 延迟和生成速度，别把约 1 GB 权重当作整机内存预算。
• 如果日常 AI 编程涉及大型代码库修改，可以把 LFM3 作为简单工具操作的候选，让较大模型承担复杂编程与知识任务，再验证这种搭配是否真的节省资源。