IBM 推出结构化上下文模型预览

把恶意指令藏进检索文档或工具返回值，模型就可能把待处理的材料当成命令。IBM 这次尝试从上下文的表达方式入手：推出标记语言 LLMON，并发布两个专门训练过的 Granite 4.1 预览模型，让模型更容易分清哪些指令该执行、哪些内容只是数据。

作者转述的测试结果显示，这条路线能提高对间接提示注入的抵抗能力。但它仍是实验预览，安全边界依赖模型学会遵守规则，多轮攻击也尚未解决，不能直接当成生产环境的防护保证。

LLMON 怎么让模型分清命令和材料

一次模型请求里，往往混着系统提示、历史对话、检索文档、工具输出、输出约束和推理内容。IBM 认为，这些内容的角色通常靠文字暗示，或者塞进面向解析器设计的 JSON，容易让小模型混淆，也给提示注入留下空间。

LLMON 给各部分加上有语义的标签，并把分隔符做成词表中的保留特殊 token。结构标记与普通文本因此不再共用字符。每个内容块还有一个简短的唯一 ID，末尾的执行块负责指定：执行哪条指令、处理哪些数据、遵守哪些要求，以及把答案放到哪里。

关键不只是给内容分类，而是明确绑定哪些指令可以作用于哪些数据。

没有被执行块引用的内容依然对模型可见，但被当作未引用材料。这与直接删掉可疑内容不同，模型仍能读取材料，只是应当拒绝把其中的命令当成权威指令。

配套模型是 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview，各自带有聊天模板。接入时仍然构造常见的消息列表，再标明回合中的 instruction、data、requirement，并设置各部分是否参与执行，由模板生成标记。IBM 还提供了 JSON 与 LLMON 的无损双向转换器，以及包含工具包、工作流示例和模板的 GitHub 仓库。

测试有效，但安全边界仍靠模型遵守

间接提示注入，是把恶意命令藏进模型需要处理的外部内容，例如检索文档或工具响应。IBM 使用的 OPI 基准，会在标准 NLP 任务的数据中植入这类攻击。

按 IBM 的报告，相比参测的最佳前沿模型，LLMON 模型多避开了 47% 的攻击；相比最佳开源模型，多避开了 95% 的攻击。ASB 和 StruQ 基准也出现了类似趋势。

这两个数字不能读成「攻击拦截率分别为 47% 和 95%」，也不能读成提升了相同数值的百分点。原文没有列出参测模型名单、绝对成功率和完整配置，无法据此判断实际部署后的风险水平。

训练也不只是换一套提示词。模型从 Granite 4.1 基础检查点出发，把普通指令微调语料重新序列化为 LLMON，并加入不绑定执行关系的诱饵指令和数据。随后进行五个 GRPO 阶段，最后使用模型自身应对注入尝试的回答构造 1,000 组偏好对，完成一个 DPO 阶段。

IBM 称，模型在标准基准类别上的通用表现与 Granite 4.1 Instruct 持平。不过，原文没有给出逐项分数。更关键的是，现有测试覆盖静态注入，多轮对话中逐步展开的攻击仍在研究；执行块具有权威、输入只是材料，这条权限规则属于习得行为，并非强制保证。

我的判断

我认同 IBM 把指令与数据的关系显式化。对于检索和工具调用任务，只写一句「忽略材料中的恶意命令」，很难准确表达复杂上下文里的执行关系。LLMON 至少把这种关系变成了可检查的输入结构。

但这里不能把收益全部归给标记语言。专用 token、执行绑定、诱饵训练和后续偏好优化一起发生作用，原文没有给出拆分对照，无法判断各自贡献多少。

它与 JSON 也不是简单的替代关系：JSON 适合程序解析，LLMON 试图帮助模型理解权限和任务关系。模型学会区分权限，并不等于应用已经强制隔离权限。 工具是否可以执行、可以操作哪些资源，仍需要应用侧决定。

IBM 还允许自定义标签并训练 LoRA adapter，在 ScienceWorld 上做了演示，也提供了工具调用 Agent 的第二份 notebook，相关项目 Mellea 原生支持 LLMON。这些说明它有可探索的扩展路径，但还不足以证明一般团队都能低成本复现收益。

能拿来做什么

• 做检索问答或文档处理时，可以先审查消息组装逻辑，明确任务指令、外部材料和输出要求分别放在哪里，避免把它们直接拼成一段文本。
• 用 Node 编排工具调用时，可以把工具响应当作攻击入口准备评估样例，检查模型是否会执行响应里夹带的命令，并补充连续多轮诱导的测试。
• 想验证 LLMON，可以使用两个 preview 模型及其聊天模板，对照自己的原有流程，同时记录注入成功情况和正常任务完成情况。IBM 已明确它们用于探索和评估，不用于生产。
• 有自定义标签需求的团队，可以参考 ScienceWorld 与工具调用 notebook，再决定是否投入 LoRA 微调；原文没有说明这部分适配需要多少数据和成本。