笔记本即可运行的 AI 安全检测，效果逼近 350 亿参数模型

Check your inbox for a confirmation email where you can adjust your preferences and even join additional groups.

Follow TNS on your favorite social media networks.

Become a TNS follower on LinkedIn.

Check out the latest featured and trending stories while you wait for your first TNS newsletter.

Guardrail selection has typically meant choosing between a purpose-built classifier and an LLM acting as a judge. Decision models such as TypeSafe AI's Jev have added a third option, promising the flexibility of zero-shot policies without the cost of open-ended generation.

TypeSafe 于 9 月中旬推出 Jev，性能声明基于其自行设计和运行的评估。Red Hat 的 AI Safety 团队如今将三种方案都跑在同一套基准测试上。团队对提示词注入和内容安全两个场景测试了九种 guardrail 配置，每种都通过 NVIDIA 开源的 NeMo Guardrails toolkit 运行。第一个结果相当接近。

Qwen3.6-35B 作为 LLM judge 使用，在该测试中以 89.31% 的准确率位居榜首。Red Hat 基于 DeBERTa 的提示词注入分类器（约 2 亿参数）以 89.01% 紧随其后。Qwen3.6-35B 是一个混合专家模型，每个 token 激活约 30 亿参数；不过 175 倍这个数字夸大了推理算力的差异。

延迟结果才真正拉开了差距。Red Hat 的主结果表中，DeBERTa 中位延迟为 54.1 毫秒，Qwen 为 312.5 毫秒，Jev 为 348.1 毫秒（准确率 86.35%）。在提示词注入测试中，这个小型分类器几乎与测试中最大的模型一一对应地匹敌，同时以极短的时间返回判断结果。

在内容安全基准测试中，排行榜顺序发生了逆转。Jev 以 86.20% 领先，随后是通过 vLLM 服务的开源 Jev 风格模型 DiffusionGemma（85.53%）和 Qwen（85.47%）。Red Hat 拥有 1.25 亿参数的 Granite Guardian 分类器排在第六位，准确率为 80.27%，落后 Jev 约六个百分点，不过它仍然是最快的选项，中位延迟仅 33.2 毫秒。

Red Hat 计划将这两个分类器作为 OpenShift AI 3.6 的默认 guardrail 配置，这让公司对两者的比较结果有了利益关联。作者们也承认，内容安全的结果同时也指向该类别对更小预测模型的迫切需求。

决策模型的优势所在

决策模型被定位为一种在不付出开放式生成代价的前提下保持 LLM 分类灵活性的方式。Jev 接收应用的状态和一组类型化问题，然后返回类型化答案，例如 0 到 1 之间的概率。

内容安全基准测试是这种方案真正发挥价值的地方。Red Hat 的策略覆盖了偏见、暴力、粗俗、非法活动、性内容和借口性内容（如角色扮演），这比提示词注入的风险范围要广泛得多，而 Jev 和 DiffusionGemma 在该测试中均以超过五分的优势击败了专用 Granite 分类器。

Red Hat 没有明确表态将决策模型作为 LLM judge 的替代方案。在 Red Hat 的配置中，Qwen 在两个基准测试上的中位延迟均低于 Jev。NVIDIA 40 亿参数的 Nemotron-3.5-Content-Safety 在运行 Red Hat 自定义策略时，在内容安全上仅落后 Jev 1.13 个百分点，同时响应更快。

开源替代方案也让 Jev 的优势打了折扣。

DiffusionGemma 在内容安全上与 Jev 仅差 0.67 个百分点，并在提示词注入上以 87.72% 击败了 Jev 的 86.35%。Laya 是一个拥有约 4.21 亿参数的开源决策模型，Red Hat 在一台笔记本电脑的 CPU 上运行它，在提示词注入上达到 85.44%，不过它在内容安全上的结果高度依赖于策略的编写方式。

Prompts 仍然在塑造准确率

当 Red Hat 将 NVIDIA 的默认风险定义替换为自己的定义时，Nemotron 的提示词注入准确率从 69.37% 跃升至 84.84%。Laya 在内容安全上的波动更为剧烈，在 Red Hat 原始策略下得分为 57.87%，团队专门为其调整策略后升至 75.20%。同样的调优策略却将 Jev 的内容安全准确率从 86.20% 拉低到了 82.53%。

一套为一个决策模型带来近 18 分提升的策略，在同一基准测试上却让另一个模型损失了 3.67 分。这使得排行榜上任何一个单一位置都难以直接采信。Red Hat 指出，其原始风险定义改编自在 LLM judge 上表现良好的提示词，可能并不适合零样本分类器。SkipLabs 创始人 Julien Verlaguet 今年早些时候告诉 The New Stack，许多 AI guardrail 声明本质上不过是更好的提示词工程，而 Red Hat 的数据表明，对于决策模型而言，提示词仍然在很大程度上决定着最终表现。

延迟取决于部署方式

Red Hat 的延迟数据衡量的不仅仅是推理速度。团队在 MacBook Pro M1 CPU 上运行了其预训练分类器、Laya 和 BART-large-mnli。Qwen、Nemotron、Shieldstral 和 DiffusionGemma 通过 vLLM 在美国东部 Red Hat OpenShift Service on AWS 集群中配备 96GB VRAM 的 GPU 节点上运行，Jev 则通过 TypeSafe 的 API 调用。由于基准测试从英国发起，每个托管模型都承受了跨大西洋的网络跳转，Red Hat 估计每次请求至少增加了 56 毫秒。

即便从 Qwen 的中位延迟中减去这个估计值，仍然剩下大约 256 毫秒，是 DeBERTa 结果的数倍。DeBERTa 是在笔记本电脑 CPU 上完成这一成绩的，而较大的模型则有专用 GPU，因此在扣除了网络因素后，分类器的速度优势依然成立。

对于位于应用请求链路中的 guardrail 来说，每一毫秒都会增加用户感知到的延迟，无论它来自推理还是网络。那些已经将 guardrail 作为独立环节提前于推理运行起来的团队，还需要考虑 guardrail 本身的部署位置。远程 GPU 或第三方 API 会增加成本和故障点，而这正是运行在普通 CPU 上的分类器所避免的。

选择 Guardrail 模型

Red Hat 的结果展示了权衡开始发生倾斜的地方。对于具有大量标注训练数据的明确风险，小型任务专用分类器仍然是更强大的默认选择。在不存在强分类器的更广泛策略场景下，零样本决策模型或 LLM judge 才值得付出其额外的开销——这与 Red Hat 作者们得出的结论一致。

基准测试也削弱了决策模型已经成为 guardrail 新默认方案的观点。Jev 与分类器和 LLM judge 同台竞技，但并没有在两者中都取得一贯的胜利。

Red Hat 仅测试了英语数据集，因此准确率结果可能无法迁移到多语言 guardrail 场景中。