本地 Agent 选模型,先看吞吐与并发
作者在 M4 Max 64GB 上运行本地 Agent,发现将 27B 模型换成支持五路并发的稠密 8B 后,吞吐提升且超时消失,但任务仍未完成。文章按多 Agent、定向检查和深度推理场景,给出模型规模、上下文与并发配置建议。
AI 深度解读
本地 Agent 跑不出结果,先换更大的模型,可能会让等待更久。作者在一台 64 GB 内存的 Apple M4 Max 上跑安全扫描:27B 模型两轮耗时约 17 小时,没有进入有效测试;换成 8B 并开放五个并发槽位后,请求吞吐大幅增加,但任务依然没完成。
这组实验有用的地方,是把模型选型拆成了几个能检查的问题:输入有多长、请求是否同时涌入、服务能接住多少并发,以及跑得更快之后,究竟有没有产出。
27B 为什么连第一轮侦察都跑不完
作者使用的是开源 Agent 渗透测试框架 Strix,此前还把它与另外 11 个框架做过比较。这次运行的是 deep scan 模式,其提示词会要求 Agent 尽可能启动多个子 Agent,让它们并行探索目标。
测试环境是单台 Apple M4 Max、64 GB 统一内存,通过 LM Studio 内置的 llama.cpp 服务 GGUF 量化模型。没有云端 API,也没有租用 GPU。
在这个环境里,一个面向网络安全的稠密 27B 模型只配置了一个槽位。两轮分别运行 8.9 小时和 8.0 小时,结果都是已审查攻击面为零、发现为零。这里的「攻击面」,可以理解为需要进一步验证安全问题的接口、入口或功能。
任务一直困在侦察阶段。
8.9 小时那轮只处理了 61 个请求,平均每小时约六七个。日志里有一个请求,仅处理提示词就花了 23.6 分钟,还没生成第一个 token,就被空闲超时取消。每轮都有数十个请求遭遇类似情况。
这组结果能证明的是:27B、单槽位与 deep 模式的组合,在作者的环境里不可用。
它没有证明 27B 模型不会做安全分析。模型甚至还没获得足够的执行机会,流程就已经被排队和超时拖住了。
真正堵住流程的是长输入和并发排队
问题来自三个因素叠加。
首先是预填充(prefill),也就是模型开始回答前,先处理输入上下文的阶段。27B 两轮中,每个请求平均携带 64,000 到 70,000 个输入 token;提示词前缀没有被缓存,每轮都要重新处理。生成速度再好,也得先过完这段输入。
其次,deep 模式主动制造并发。多个子 Agent 会同时请求同一个本地模型服务,但单槽位只能依次处理。后面的请求等待太久,迟迟收不到响应字节,就会被空闲超时机制取消。服务未必崩了,只是队伍太长。
最后,多开槽位也有内存成本。每个槽位都需要保存对应上下文的 KV cache,也就是注意力计算中可复用的中间数据。长上下文下,这部分内存可能很大。作者遇到的约束是:27B 单槽位太慢,增加槽位又会撞上内存限制。
这里要分清两件事:模型权重能装进内存,不代表它还能同时服务多个长上下文请求。具体能开几个槽位,还取决于上下文长度、缓存配置和服务实现,不能只看参数量。
作者也提醒,原生上下文窗口有实际边界。把 CONTEXT_LENGTH 调到训练窗口之外,在文中讨论的配置下会依赖 RoPE 缩放,并可能悄悄损失质量。选型前要检查 GGUF 元数据中的上下文长度,不能只相信界面里能填进去的数字。
8B 跑快了,却还没有证明任务能完成
作者随后用同一目标、同样的 deep scan,换成具有较大原生上下文窗口的稠密 8B,并设置 PARALLEL=5。他的要求是,模型处理长输入时不必依赖 YaRN 这类 RoPE 缩放方案。
这次 8.7 小时处理了 461 个请求,平均每小时约 53 个;相比 27B 在 8.9 小时内的 61 个请求,吞吐明显增加。整轮只有两次取消,此前成批出现的空闲超时消失了。
但作者停止运行时,8B 仍然没有审查任何攻击面。
它每次请求的输入约为 77,000 token,整轮累计约 3,500 万输入 token。Agent 每走一轮,都会再次发送不断增长的上下文。请求处理得更快了,工作流仍然可能把大量计算花在重复阅读上。
基于这些观察,作者提出了三类任务分工:
- 稠密 8B 负责 deep 模式,用较低的资源需求换取多个可用槽位,承接子 Agent 的并发请求。
- 7B coder-security 模型负责短会话和定点检查,例如让一两个 Agent 验证某个接口是否存在 SQL 注入。它的原生窗口较小,不适合直接承接 60K 以上的长输入。
- 稠密 27B 配置
PARALLEL=1,用于非 deep 模式下的复杂推理,例如复核疑难发现、分析复杂逻辑,或基于已有侦察结果构建利用链。
其中最容易迁移的做法,是把已经完成的侦察交给模型,并明确要求跳过基础侦察,直接验证已发现的入口。输入收窄,预填充才会缩短,较强的推理能力也更容易用在需要它的步骤上。
我的判断
我赞同作者先看请求形态,再看模型大小的选型顺序。多 Agent 系统里,单次回答质量只是一个环节;排队时间、长输入处理成本和上下文增长,同样会决定整个流程能不能推进。
但这不是一次模型能力排名。
作者同时改变了模型大小和槽位数,没有分别测量两项变化的贡献;也没有给出具体模型名称、量化档位,以及足够完整的服务配置。因此,吞吐改善可以归因于这次配置调整,无法精确拆成「缩小模型贡献多少、增加并发贡献多少」。
更关键的是,三轮都没有完成深度审查。作者明确没有测量不同模型的发现质量。关于 8B 适合 deep、7B 适合定点检查、27B 适合复杂推理的分工,应当作为经验起点,不能当成已经验证的最优方案。厂商自报的通用「cyber」基准,也补不上这个证据缺口。
吞吐改善值得保留,但最终要用任务产出来验收。
与直接换小模型相比,限制子 Agent 数量、复用前缀缓存、裁剪上下文,也都值得排查。原文没有提供这些方案的对照数据,不能断言换模型一定更划算。特别是「8B 每小时完成更多请求,却仍未审查攻击面」这个结果,已经提示下一步该检查任务拆分和停止条件。
能拿来做什么
- 在本地运行多 Agent 编程或安全检查任务时,先记录首 token 等待时间、每小时请求量、取消次数和实际完成项。不要仅凭模型能加载、能回答,就判断配置够用。
- 给复杂分析任务准备一份收敛后的上下文,保留已确认事实、相关代码和待验证问题,并明确哪些探索已经结束,减少模型重复侦察。
- 在选择本地模型和配置并发前,检查 GGUF 元数据中的原生上下文窗口,再结合实际输入长度验证
CONTEXT_LENGTH与PARALLEL,避免把扩大窗口当作免费的容量升级。 - 给 Agent 工作流设置可观察的阶段目标,例如完成某个接口的验证。请求数增加后,如果阶段目标仍无进展,就检查上下文和调度,而不是继续等待。