LLM 输出非法 JSON,如何分层处理
文章用 JavaScript 展示模型 JSON 输出的渐进处理流程:先直接解析,再去掉说明文字和代码围栏,随后处理语法问题。示例涵盖单引号、未加引号的键、Python 字面量及截断等常见故障。
AI 深度解读
LLM 返回的内容看着像 JSON,交给 JSON.parse 却立刻报错:前面多了一句解释,里面混着单引号、Python 的 True,结尾还可能被 token 限制截断。作者给出的处理顺序很实用:先严格解析,再剥离包装,最后才尝试修复。
但解析成功只是第一关。对接 AI 接口的前端和 Node 开发者,更该拿走的是这条边界:修复工具可以救语法,不能替你保证字段完整、业务含义正确。
为什么不要一上来就修复 JSON
原文的例子把常见问题凑到了一起:数据前有 Sure! Here is the data:,外面套着 Markdown 代码围栏,name 没加引号,'Asha' 用了单引号,布尔值和空值写成 Python 的 True、None,数组带尾逗号,最后还缺一个右花括号。
此时 JSON.parse 首先撞上的,是开头那句解释中的 S,因此抛出 SyntaxError。后面的数据即使大部分正确,也没有机会继续解析。
作者建议按成本逐步处理:
- 直接调用
JSON.parse,合法输入立即返回。 - 失败后提取 JSON 内容,再严格解析一次。
- 仍然失败,才调用修复库。
合法 JSON 应该直接通过,不必让修复器重新猜一遍。
提取阶段优先取代码围栏内的内容,再从第一个 { 或 [ 开始保留文本。这适合清理常见包装,但原文实现没有识别完整对象的结束位置:没有围栏、对象后面又附带解释时,尾部说明仍会留下。作者称这一步能解决不少真实响应,却没有提供样本量或成功率。
修复器能补语法,补不了丢失的数据
尾逗号、单引号、未加引号的键、注释,以及截断的结尾,都不适合靠几条正则批量替换。字符串值自己也可能包含逗号和引号,替换规则很容易误伤正常内容。
作者使用基于分词器的 jsonrepair。大白话解释,就是先辨认哪些内容属于键、字符串或结构符号,再决定怎么修。
下面这段代码展示了完整的处理顺序,依赖前面定义的 tryParse 和 extractJsonBlock:
import { jsonrepair } from 'jsonrepair';
function parseLlmJson(raw) {
const first = tryParse(raw);
if (first.ok) return first.value;
const block = extractJsonBlock(raw);
const second = tryParse(block);
if (second.ok) return second.value;
// 最后的补救:先修复,再严格解析
return JSON.parse(jsonrepair(block));
}
重点是最后一行:jsonrepair 的结果仍要经过 JSON.parse,并不是修复后就直接当作对象使用。
原文示例修复后,active 变成 true,manager 变成 null,tags 保留 "admin" 和 "beta",notes 仍是 "Joined in 2024"。不过,如果响应截断时丢掉了整个字段,补上括号也找不回那部分内容。
因此还要检查数据结构:
const data = parseLlmJson(response);
if (typeof data.name !== 'string' || typeof data.active !== 'boolean') {
throw new Error('LLM output parsed, but the shape is wrong');
}
注意这里检查的是字段类型,已经超出了 JSON 语法的范围。作者建议实际项目用 Zod、Ajv 做 schema 校验,失败后重试请求。这个简化示例并非完整校验器,也没有覆盖返回值为 null 等情况。
我的判断
这套分层处理适合作为 AI 接口的容错入口:每一步职责明确,也避免了用正则到处打补丁。但作者给出的是处理经验和一个示例,没有修复准确率、性能开销或不同方案的对照数据。
能解析,不代表可以直接进入业务流程。
尤其是截断响应,修复成功容易制造一种完整的错觉。对于必填字段,应该让 schema 明确判定是否缺失,而不是因为括号补齐就默认数据可用。
与事后修复相比,作者也建议优先使用供应商提供的 JSON mode 或 structured outputs,并在提示词里写明 Return only JSON, no explanation,附一个示例对象。大输出则提高 max token limit,减少截断。原文没有说明具体供应商和接口参数,接入时需要按实际 API 确认。
作者还提到一个在浏览器本地运行的 JSON Repair 工具,并称客户数据不会离开标签页。这是作者对该工具的描述,不能推广成所有在线修复网站都具备的隐私保证。
能拿来做什么
- 在前端或 Node 的 AI 响应入口集中封装解析流程,按「严格解析、提取内容、再次解析、修复」依次处理,避免各个调用点自行替换字符串。
- 用 Zod 或 Ajv 声明业务需要的字段和类型,校验失败后按请求策略重试,尤其不要放过截断导致的字段缺失。
- 先检查供应商是否支持 JSON mode 或 structured outputs,再补充输出格式提示和示例;生成较大对象时,检查 max token limit 是否足够。