8.0
热点
AI SCORE
开源项目2026-09-25 12:46
Fastino开源340M决策模型GLiNER2.5-Decide：CPU可运行
MarkTechPost#开源#Agent#模型轻量化
Editor brief · 编辑速览
Fastino Labs发布340M参数的轻量级开源决策模型，专为Agent流水线中的路由、分类、工具选择和防护栏设计，支持CPU部署。
Fastino Labs 发布了 GLiNER2.5-Decide，这是一款 340M 参数的开源决策模型。它接收文本和一套带类型的题目模式，返回结构化的答案。每个答案都附带有概率分布、置信度分数以及约束可行性元数据。它瞄准的是 Agent 流水线中频繁出现的判断决策：路由、分诊、工具选择和安全护栏。
可以部署吗？可以，权重以 Apache 2.0 协议发布，通过 pip install gliner2 安装。它可以在 CPU、GPU 或物理隔离环境中运行。Fastino 团队还通过其 GLiNER API 提供托管推理和微调服务。
GLiNER2.5-Decide 是一个非生成式分类器。它使用 DeBERTa-v3-large 编码器，从 gliner2-large-v1 微调而来。它不产生任何生成 token，也不需要任何提示词模板。
标签集在调用时传入。模式中的每个问题都声明其允许的答案。它还声明是期望一个答案、多个答案还是有序值。模式可以携带指令、示例、标签描述以及跨问题的关联规则。
流水线分两个阶段。编码器将文本和模式一起读取，对每个允许的答案打分。然后约束解码器在声明规则所允许的范围内搜索得分最高的联合赋值。
Fastino 对其范围直言不讳。该模型不推理、不解释、不回答开放性问题。它是一个专注于操作决策的专家。
Fastino 团队用一个护栏示例来说明其价值。独立解码时，模型以 0.82 标记了提示词注入，也以 0.52 标记了同一提示词为安全。攻击被检测到了，但两个输出相互矛盾。
联合解码应用了一条规则：任何检测到的危害都需要判定为 unsafe。然后模型返回 safety=unsafe 和 harm_type=prompt_injection。下游代码可以用这些分数来阻止、路由或升级。
模式可以表达蕴含关系、排他关系、基数限制和有序边界。同一个编码器还可以在一次前向传播中提取实体、关系和带有字符级偏移的结构化记录。分类答案不返回证据跨度。
Fastino 团队在 Fast Decisions 上评估了该模型，这是一套内部生成的留出测试集。它包含 17 个数据集共 5,100 个测试示例。任务涵盖客户运营、领域路由（银行、临床、旅行、福利）和通用内容理解。衡量指标是精确匹配准确率：预测只有在其标签集与参考标签完全一致时才计分。
| Model | Type | Average |
|---|---|---|
| GLiNER2.5-Decide | 340M encoder | 60.1% |
| JevK | 54B-class Qwen3.5 decoder | 57.5% |
| SemIf | Qwen3.5-4B decoder | 56.4% |
| GLFormer large-v1 | Single-pass encoder | 49.0% |
| Laya | 421M ModernBERT encoder | 46.6% |
GLiNER2.5-Decide 在 17 个数据集中领先了 9 个。意图路由是其最强的领域。它在支持意图上得分 75.3%，在银行意图上得分 64.3%，比次优模型分别高出 18.6 和 8.6 个百分点。
Fastino 团队以批大小 1、2 个头、15 个标签的模式对 checkpoint 进行了端到端基准测试。在 64 tokens 时，p50 延迟为：
短请求主要由固定的预处理和内核启动开销主导，这使得各 GPU 之间相差不超过 9 ms。在 1,024 tokens 时，A100 脱颖而出为 52.6 ms，而 V100 为 75.6 ms，L4 为 131.4 ms。
这个多头调用示例取自模型卡：
from gliner2 import AutoExtractor
model = AutoExtractor.from_pretrained("fastino/GLiNER2.5-Decide")
model.classify_text(
"Please confirm the new retention rule is applied before Friday's audit.",
{
"intent": ["fyi", "request", "approval", "complaint"],
"urgency": ["low", "normal", "high", "critical"],
"route": ["support", "billing", "legal", "security"],
},
)
单标签头返回一个字符串。多标签头返回所有超过 cls_threshold 的标签。标签可以携带描述，有序刻度作为普通字符串传入，如 "0" 到 "10"。
Fastino 瞄准的场景包括模型路由、工具调用、浏览器和计算机使用、护栏、上下文修剪、LLM-as-a-judge 和模拟。微调可以通过 GLiNER2 trainer 在本地完成，支持全量微调或 LoRA。SKILL.md 文件将托管工作流暴露给编程 Agent。
Fastino 还发布了 GLiNER2.5-Decide-1B，它构建在 Ettin 1B 编码器之上。在同一套测试中得分为 59.6%，略低于 340M 模型。对于多语言输入，Fastino 推荐 GLiNER2.5-multi-Decide，这是一款 287M 模型，得分 56.7%。底层架构在 GLiNER2 论文中有描述。