Granite Switch 4.1统一对话、决策与语音入口

具体来说，Granite-Switch-4.1-8B 和 -30B 模型配置了以下组件：

• 全新的 Decision aLoRA，用于通用决策，例如 v1/systemone。
• 专门的 Guardian aLoRA，在安全相关决策任务上的平均表现优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash。
• 内置 Granite-Speech-5.0-Turbo-CTC，用于转录任务。这是 OpenASR Leaderboard 上速度最快的 ASR 模型。

这三项技术与底层基础模型被整合到同一个模型中，占用的 GPU 显存与基础模型单独运行时大致相同。这意味着，用更少的 GPU 就能获得更多能力。

而且，Switch adapter 采用了缓存高效的 Activated LoRA，因此，基础模型在生成过程中创建的 KV cache，可以复用于后续任何基于 adapter 的决策。再结合我们团队近期为 vLLM 贡献的低秩 adapter 推理加速优化，以及部署在同一处的 ASR encoder，Granite Switch 4.1 模型可以在聊天请求、决策请求和语音请求之间飞速切换。

欢迎体验我们的 Speech-to-Decisions HF Space：granite-switch-4.1-8b 可以转录音频、生成摘要、筛查有害内容，并检查另外 15 个由用户定义的标记条件。所有任务都通过同一个 endpoint 实时运行。

Granite Libraries：最早的决策模型

决策模型并不是新事物。我们此前发布的 Granite Libraries，提供了一个 adapter 仓库，其中既有专门的“决策模型”adapter，也有其他面向特定任务的 adapter，可以将它们组合成自定义的 Granite Switch 模型。Jev 和其他闭源决策模型侧重通用性，而我们发现，在专门的分类任务上，许多专用 granitelib adapter 的表现可以超过通用模型。

在专门的分类任务上评估时，可以比较 granitelib adapter 与通用决策模型的表现。

由于 adapter 共享基础模型的 KV cache，在通用决策 adapter 之外再加入专用 adapter，几乎不会带来额外成本。通用 adapter 提供广泛的任务覆盖，专用 adapter 则能在你关心的任务上提供更高的准确率。

在 Granite-Switch-4.1-30B 与 Jev-27B 的一场“竞速”中，前者采用冻结的 Granite 基础模型，加上 4 个专用 aLoRA；后者采用冻结的 Qwen 基础模型，加上 1 个通用决策 LoRA。结果，Granite-Switch-4.1-30B 完成一个真实场景中的 5 步 RAG 工作流，速度远快于对手。

组合并扩展你自己的 Granite Switch 模型

Granite-Switch-4.1-8B 和 -30B 发布时就已经“开箱即用”。我们为这两个 Granite Switch 模型预先组合了一组实用的 adapter。不过，你不必使用我们的版本。任何人都可以从 Granite Libraries 中挑选并搭配 adapter，组合出最符合自身需求的 Granite Switch 模型。

展望未来，我们认为，社区可以通过自定义和第三方 adapter 来组合、扩展 Granite Switch 模型，这其中有很大的发挥空间。我们计划发布 Adapter SDK，用于在 Mellea 中训练 adapter，同时还会提供其他教程和 Granite Switch 支持。这些 adapter 可以是专用分类 adapter，用来增强基于决策的工作流，也可以服务于特定的语言任务。你甚至可以使用自定义 adapter，教会一个 3B 参数的 Granite 模型玩经典游戏 Doom。

与 Jev 类似，我们自定义的 3B 参数 Granite Switch 模型可以在瞬间做出决策，在 Doom 游戏中行动。不过，它每秒可以做出 60–100 次决策，而 Jev 公布的速度是每秒 10 次决策。¹ 此外，这个 Granite Switch 模型还能一边玩游戏，一边解说并回答你的问题。

入门资源

• Granite Switch 4.1 模型卡
• Speech-to-Decisions 演示
• Granite Switch GitHub 仓库
• Granite Switch 与 Granite Libraries 最初的发布博客
• 在 Colab 上创建你自己的 aLoRA 与 LoRA 竞速实验。

¹ https://typesafe.ai/blog/introducing-system-one-models-and-jev

本文提及的模型：5 个

本文提及的 Space：3 个

本文提及的 Collection：2 个

作者的更多文章

Granite 4.2 LLM：它们是如何构建的

使用 Granite Speech 5.0 Turbo CTC，实现极速且准确的转录

· 注册或登录后发表评论

本文提及的模型：5 个

本文提及的 Space：3 个

本文提及的 Collection：2 个