让模型直接返回程序需要的字段
以日志分析为例,让模型直接返回严重级别和修复建议等结构化字段,应用就能按字段做判断。自由文本的措辞和顺序会随生成变化,依赖正则提取容易静默出错。
AI 深度解读
让 LLM 分析日志,再根据严重级别决定是否告警,最脆弱的一步可能是从回答里提取 critical。模型下次改用 severe,或者先给修复建议再说故障级别,业务代码一行没改,分支就可能走错。
作者给出的办法是把模型输出当成接口返回值。Go 和 Rust 的调用方先定义类型,框架从类型生成 JSON Schema,再把回答转成程序能直接读取的字段。做 AI 功能时,这篇文章最值得借鉴的是两件事:让类型和 Schema 共用一份定义,以及把格式错误和业务判断分开处理。
为什么匹配到了 critical 也可能走错分支
原文举了一个日志分析的例子。你想要严重级别和修复建议,模型却给了三段文字。第一次它用 critical,第二次可能用 severe,还可能把修复建议放在最前面。即使每一段人都看得懂,程序也没有稳定的字段可读。反过来,如果模型写了「未达到 critical 级别」,只匹配单词的代码也可能照样触发告警。
作者按回答的接收方划线。给人读的摘要、解释和对话,用自由文本就合适。交给程序做分类、抽取,或者输出百分制的代码审查分数和问题列表,就该提前约定字段。即使同一份结果既要触发分支,又要展示给用户,也可以让程序读取 severity,让用户阅读 fix。
为什么让框架从类型生成 Schema
go-tool-base 的 Chat 返回文本,Ask 用于拿到结构化结果。下面这段代码让日志分析的回答直接落到 Analysis 的两个字段里。
type Analysis struct {
Severity string `json:"severity"`
Fix string `json:"fix"`
}
var result Analysis
err := client.Ask(ctx, "Analyse this log file: "+logText, &result)
最后一行传入的 &result 是结果写入的位置。调用方要先检查 err,再读取 result.Severity 和 result.Fix。
Go 侧用 GenerateSchema[T]() 从类型生成 JSON Schema,通过客户端配置里的 ResponseSchema 指定所需的响应格式。Rust 侧通过 schemars 从类型生成 Schema,调用 chat_structured::<T>,要求 T 能反序列化并实现 JsonSchema。
这套做法省掉的是两份定义之间的同步工作。手写 Schema 时,给结构体加一个字段却忘了更新 Schema,模型就没收到生成这个字段的要求。让框架从类型派生 Schema,同一个字段改动就有了统一的维护入口。
Rust 为什么在反序列化之前再校验一次
rust-tool-base 先拿原始响应跑 JSON Schema 校验,通过后才尝试反序列化成 T。两步会产生两类可区分的错误:一类是响应不符合 Schema,另一类是响应通过了 Schema 校验,却仍然无法转成目标类型。
对接入方来说,区别在于排查时知道该看哪一层。前者先看模型实际返回了哪些字段、字段类型是否符合约定。后者要进一步看目标类型的反序列化要求。原文用这两类错误说明接口的设计,没有给出具体错误类型名,也没有给出失败率或耗时的实测数据。
我的判断
类型派生 Schema 的收益最明确,它减少了接口演进时漏改一处的机会。至于结构化输出能让线上失败率降多少,原文没有拿正则、提示词要求「只输出 JSON」和 Schema 约束做对照。这部分是工程经验,不能从文中的例子推算出稳定性收益。
示例还有个直接影响告警分支的细节。Severity 声明成了 string,示例也没有列出允许的值。按这个形状,severe 仍然可以作为字符串返回。即便把值限制成枚举,模型也可能把一条普通错误判成 critical。字段形状、可选值和判断是否正确,需要分别验证。
能拿来做什么
- 如果 Node 服务正在用正则从 AI 日志分析里提取级别,先把
severity和fix定成响应字段,在服务端校验后再决定是否告警。 - 如果 AI 接口同时给前端展示建议和驱动程序分支,把展示文案保留为字符串,把参与分支的级别或通过状态单独定义成有限取值。
- 如果在做 AI 代码审查,明确百分制分数的取值范围和问题列表的字段,再分别记录 Schema 校验失败和反序列化失败,方便定位是哪一步出了问题。