日英提示注入检测模型开放ONNX版本
ja-injection-guard-v1 以 Apache 2.0 许可发布,可在文本进入大模型前标记可疑日英输入。在 2500 条留出样本上,攻击检出率为 93.0%,良性文本误报率为 0.44%,桌面 CPU 单条约耗时 104 毫秒。
AI 深度解读
如果你用 LLM 读用户留言、检索文档或邮件,可以先用一个小模型筛出疑似提示词注入,再决定哪些输入需要进一步检查。作者发布的 ja-injection-guard-v1 专门处理日语和英语,目标是先把正常文本的误报率压到 1% 以下,再尽量提高攻击检出率。
在 2,500 条封存测试样本上,它检出 93.0% 的攻击,误报率为 0.44%。但同一个模型在外部 NotInject 数据上的误报率升到了 9.41%。如果你要把它接进业务,这两个数字得一起看,因为阈值选得再仔细,线上文本也可能和测试集差得很远。
为什么要先给误报率设上限
提示词注入出现在应用把外部文本交给 LLM 的地方。比如邮件正文原本是待处理的数据,里面却混进了试图改变模型行为的指令。如果每条输入都交给第二个 LLM 审查,正常请求也要承担那次调用的延迟和费用。作者的做法是用一个 130M 参数的编码器在 CPU 上先筛一遍,把命中的输入交给后续检查。
作者用 45,000 条样本训练,底座是 sbintuitions/modernbert-ja-130m。数据包括采用 MIT 许可的 llmail-inject-challenge 和 browsesafe-bench,以及自建的日英攻击样本和正常长文。部分攻击按日本商务语境改写。模型以 Apache 2.0 发布,附带 ONNX fp32 构建。
推荐阈值 0.394 在开发集上就已定好,封存测试集没有参与训练或选阈值。以下是原文推理代码的核心片段。初始化时,分词器和分类模型均从 japan-opendata/ja-injection-guard-v1 加载,text 是待筛查的输入。
enc = tok(text, truncation=True, max_length=1024, return_tensors="pt")
with torch.no_grad():
prob_attack = torch.softmax(model(**enc).logits, -1)[0, 1].item()
THRESHOLD = 0.394 # fixed on development data, not on the test set
print(prob_attack, prob_attack >= THRESHOLD)
留意第一行的 max_length=1024。它限制的是分词后的 token 数,超出的内容会被截断。最后一行输出攻击分数以及是否达到阈值,业务层可以据此决定怎么处理。
哪些输入最容易漏检或误报
在封存测试集上,0.394 阈值下的检出率为 93.0%,误报率为 0.44%,F1 为 0.9599。用默认阈值 0.5,检出率是 92.22%,误报率同为 0.44%,F1 为 0.9557。就这批样本而言,降低阈值多检出了一些攻击,误报率没有增加。
按攻击类型看,指令覆盖和伪造对话历史的检出率都是 100%,间接注入是 96.67%,提取类攻击只有 77.33%。提取类指的是试图让模型吐出系统提示词或数据的请求。作者认为,措辞礼貌、语法完整的提取请求容易和正常提问混在一起。这一类大约漏掉了四分之一。
误报也很看文本来源。封存集里,刻意写得可疑的正常文本误报率为 0,普通正常文本为 0.60%。原文在分类结果中列出长文误报率 0.67%,又在局限部分报告超过 512 个字符的切片误报率为 2.11%,没有交代两组统计口径的关系。两套仅用于评估的外部数据差距更大,XSTest 的 250 条安全样本零误报,NotInject 的 170 条样本误报率为 9.41%。作者把后者列为日英之外的多语种疑难文本仍容易触发误报的例子。
小模型的部署成本有多低
作者用 Core i7-11700F 和贴近实际的输入测得,CPU 推理平均每条 104 ms,中位数 50 ms。ONNX fp32 和 PyTorch 在 200 条核对样本上的预测完全一致。这是单条推理的结果,原文没有给出并发吞吐或尾延迟。要把筛查放到每个请求的同步链路上,平均值和中位数还不足以估算用户会多等多久。
作者试过训练 2 个 epoch,发现模型更容易把正常文本标成攻击,所以 v1 只训练 1 个 epoch。INT8 量化也提高了误报率,因此只发布 fp32。原文没有给出这两组尝试的完整指标,能确认的是作者按误报预算做了取舍。
我的判断
我认同先定误报预算,再用封存集检查结果。这个流程把调阈值和验收分开,也把产品问题提到了前面。每一次误报都可能让一条正常邮件、文档或请求进入额外审核,直接拦截的成本更高。
全量使用第二个 LLM 审查,每条请求都会多一次模型调用。规则匹配容易解释,遇到改写时的覆盖取决于规则写了什么。原文没有给出这两种做法和小分类器在同一数据集上的成本与效果对照,所以把小模型放在第一层,仍是基于这次实测的工程经验。尤其是 NotInject 上的结果,足以让我把 0.394 当成试跑的起点,线上拦截阈值要用业务样本来定。
能拿来做什么
- 如果 Node 服务会把邮件或检索结果拼进 LLM 输入,可以在拼装前接入筛查,先把命中结果用于记录或二次复核,再根据正常样本的误报情况决定是否拦截。
- 用真实业务中的日语、英语、混合语言和长文做一组独立验收样本。分别检查
0.394和0.5的误报与漏检,并用实际输入长度和并发量测端到端延迟。 - 如果应用能读敏感数据或执行写操作,把工具权限和输出检查独立于分类分数执行。高风险操作保留人工复核,尤其要覆盖模型容易漏掉的提取类请求。