AI输出校验层：13个检测器拦截生成错误

dev.to · AI#AI安全#LLM输出校验#开源

Editor brief · 编辑速览

在生成后而非生成前做校验，用13个检测器覆盖5类输出问题（幻觉引用、工具参数错误、代码逻辑错误等），附31种自动修正策略和开源下载。

文章思维导图

Knowledge map

拖拽缩放

Full translation

完整中文译文

大家都在聊 AI Guardrails，但大多数人都用错了检查方式。

目前大多数 Guardrail 方案（内容过滤器、提示词注入检测器、话题分类器）都工作在输入层——即用户提交的内容本身。这些方案的作用是阻止恶意提示词触达模型。

但真正的成本其实来自输出层的问题——模型自信满满地返回错误答案，而这些答案恰恰能通过所有输入过滤器。

虚构的引用 —— 模型凭空编造信息来源

幻觉般的工具参数 —— 传递给 API 的参数是错误的

系统提示词泄露 —— 内部指令被混入输出内容

安全拒绝绕过 —— 模型先说"我无法回答"，然后照样作答

逻辑错误的代码 —— 语法正确但语义错误

与其在生成之前做过滤，不如在生成之后加一层过滤器。我构建的这层方案包含 13 个检测器，覆盖 5 大类别，并配备了 31 种自动修复策略来解决问题。如果某次修复存在歧义，就会将输出标记为待人工审核。

核心洞察：生成后验证能够捕获生成前过滤器遗漏的问题，因为此时你检查的是实际输出，而不是在猜测模型可能产生什么。

完全免费、模型无关、仅需 CPU。