LFM2.5模型主打端侧私密智能体

同类领先的 Agent：在 Agent 任务和工具使用任务上，表现足以媲美总参数量和激活参数量都多约 50% 的 Qwen3.6-35B-A3B。在 LiveClaw 上得分为 48.09，对方为 38.19。

以 MoE 的速度进行推理：始终先思考，再回答。每个 token 只激活 2B 参数，因此每个推理 token 的计算成本都很低。

高效推理：在 Apple M5 Max 上达到 184 tok/s，在单张 NVIDIA B300 GPU 上，输出吞吐量最高可达 21K tok/s。

我们如何用 2B 激活参数构建推理 Agent

LFM2.5-24B-A2B 基于 LFM2-24B-A2B 构建，沿用了它的架构：40 层，每个 MoE 模块包含 64 个专家，采用 top-4 路由，并保留门控短卷积与 GQA 混合的架构。上下文窗口从 32K 扩展到 131K tokens，同时通过原位扩展 tokenizer，将词表大小从 65K 翻倍至 128K tokens，以改善非拉丁文字的分词效果。与前代不同，它是一个仅采用推理模式的模型，会先输出明确的思维链，再给出最终答案。

预训练规模从约 17T tokens 扩大到约 33T tokens。随后，中期训练在 32K 上下文长度下加入 2T tokens，重点覆盖推理、数学、代码、指令遵循和多语言文本；又在 131K 上下文长度下加入 300B tokens，重点覆盖长上下文数据。工具调用和多轮交互轨迹贯穿这两个阶段。后训练则分五个阶段，将基础模型转化为 Agent：

1. 监督微调（SFT）。
2. 教师模型专门化。
3. 多领域 on-policy 蒸馏（MOPD），非 Agent 阶段：在非 Agent 任务上蒸馏专门化的教师模型。
4. MOPD，Agent 阶段：第二轮蒸馏，专注于 Agent 任务。
5. Agent 强化学习（Agentic RL）：在 OpenClaw、Hermes Agent、Pi 和 OpenCode 等 Agent 运行框架中训练模型。

我们在 16 项 benchmark 上，将 LFM2.5-24B-A2B 与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 和 Nemotron-3.5-Lightning 进行了比较，覆盖工具使用与 Agent 工作流、知识、指令遵循、数学和编程。它是这组模型中最小的，但表现足以媲美总参数量和激活参数量都多约 50% 的 MoE 模型。

所有模型均使用 vLLM 进行评测，并采用各项 benchmark 推荐的生成参数。

对于你的应用来说，它的优势在于工具使用和指令遵循。在八项工具使用与 Agent benchmark 中，LFM2.5-24B-A2B 在五项上领先或追平竞争模型，分别是 AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 τ³-Bench Banking。在 AutomationBench 上，它的得分超过第二名模型的三倍。它还在全部三项指令遵循 benchmark 上领先。更大的模型在 GPQA Diamond、HLE 和 AA-Omniscience 等知识密集型 benchmark，以及 SWE-Bench Verified（OpenCode）和 SciCode 等编程 benchmark 上仍有优势。因此，面对知识密集型工作负载，应为 LFM2.5-24B-A2B 搭配检索或网络搜索。

这些结果表明，LFM2.5-24B-A2B 是构建 Agent 的强大基础，能够满足推理、工具调用和在设备上可靠运行的需求。

CPU 和 GPU 上的推理速度

LFM2.5-24B-A2B 在发布首日就获得了推理生态的广泛支持，包括 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

端侧推理。 LFM2.5-24B-A2B 是参与比较的 MoE 中速度最快的模型，在 M5 Max 上的解码速度为 184 tokens/s，在 Ryzen AI Max+ 395 上为 114 tokens/s。它的速度最高可达第二名模型的 1.7 倍，同时内存占用最少。

GPU 推理。 LFM2.5-24B-A2B 是同等规模中速度最快的模型，在单张 B300 上，高并发时的输出吞吐量超过每秒 21K tokens。

如何使用 LFM2.5-24B-A2B

如果你需要能够推理、调用工具，并在设备上可靠运行的 Agent，可以选择 LFM2.5-24B-A2B。

安装最新版 transformers（兼容 transformers>=5.0.0）：

pip install -U transformers

然后加载并运行模型：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",
#   attn_implementation="flash_attention_2" <- uncomment on compatible GPU
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "What is C. elegans?"

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

在你的 Agent 运行框架中使用

通过任意兼容 OpenAI 的后端，在本地部署 LFM2.5-24B-A2B 服务，然后将 Agent 运行框架指向该服务。例如，使用 Hermes Agent 时：

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

端口取决于提供服务的后端：llama.cpp 和 MLX 使用 8080，vLLM 使用 8000，SGLang 使用 30000，LM Studio 使用 1234。OpenClaw 和 Pi 的配置请参阅模型卡，完整设置流程请参阅我们的指南。视频示例可查看我们的发布博客。

开始使用 LFM2.5-24B-A2B

LFM2.5-24B-A2B 和 LFM2.5-24B-A2B-Base 均开放权重，现已在 Hugging Face 上提供：

• 下载：在 Hugging Face 上下载 LFM2.5-24B-A2B-Base 和 LFM2.5-24B-A2B。
• 在运行框架中使用：按照我们的指南，运行 OpenClaw、Hermes Agent 和 Pi 等本地 Agent。
• 微调：按照我们的微调教程，让 LFM2.5-24B-A2B 适应你的任务。

我们迫不及待地想看看你会构建出什么。

如果你使用了这项工作，请引用发布博客：

@article{liquidAI202624BA2B,
  author  = {Liquid AI},
  title   = {LFM2.5-24B-A2B: Built for Fast On-Device Agents},
  journal = {Liquid AI Blog},
  year    = {2026},
  note    = {www.liquid.ai/blog/lfm2-5-24b-a2b},
}

本文提及的模型：3 个

这位作者的更多文章

面向端侧的多模态开放 d1 决策模型

使用 LFM2.5-VL-DSpark 加速视觉语言模型

· 注册或登录后发表评论

本文提及的模型：3 个