把大模型输出评测接入 CI
文章建议用代表性输入和预期标准构建固定评测集,在提示词、模型供应商或温度参数变更时触发回归测试。结构断言检查输出格式,评审模型判断语义是否符合预期。
AI 深度解读
改一行提示词,原本能解析的 JSON 可能变成一段带解释的文本,原本答对的账单问题也可能把用户指到错误页面。靠上线前手测十来条,能发现眼前的问题,却很难知道这次改动破坏了哪些旧用例。
作者给出的做法是把评估接进发布和运营流程。上线前用固定样本跑回归,上线后抽样检查真实流量,再把人工确认的问题补回测试集。对开发者来说,这套流程还有个实际用途:出问题时能查清是哪次变更带来的。
上线前,怎么测每次都可能换种说法的回答
作者建议先建一套黄金测试集(golden dataset),为代表性输入写清最低验收标准。改提示词、换模型供应商或调整 temperature 时,都在 CI 里跑一遍。由于模型可能用不同措辞给出同一个正确答案,逐字比对容易误判。接口结构可以用 Schema 断言检查,答案是否满足业务要求则可以交给评审模型(LLM-as-a-Judge)。
下面的 Python 示例让 gpt-4o 判断账单邮箱的修改指引是否满足预期。
import json
from openai import OpenAI
client = OpenAI()
def evaluate_response_quality(user_input: str, llm_response: str, expected_criteria: str) -> bool:
"""Uses a stronger model to score output quality objectively."""
judge_prompt = f"""
Evaluate the following LLM output against the expected criteria.
User Input: {user_input}
Expected Criteria: {expected_criteria}
LLM Output: {llm_response}
Return JSON with a score from 1 to 5 and a brief reason.
Format: {{"score": int, "reason": "string"}}
"""
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": judge_prompt}],
response_format={"type": "json_object"}
)
result = json.loads(response.choices[0].message.content)
return result["score"] >= 4
def test_prompt_regression():
user_input = "How do I update my billing email?"
expected = "Direct the user to Account > Billing > Contact Settings."
actual_llm_response = "Navigate to your Account settings, select Billing, and update your email under Contact Settings."
passed = evaluate_response_quality(user_input, actual_llm_response, expected)
assert passed, "LLM output failed the quality threshold."
留意 actual_llm_response 那一行。示例把待评回答写死了,所以只演示了如何评分。要测提示词回归,得把当前版本实际生成的回答传进来。score >= 4 是示例在 1 到 5 分量表上设定的通过线,接入 CI 时还需要检查 score 和 reason 的字段类型。
为什么 CI 全绿,线上还要抽样
固定样本覆盖的是团队已经想到的问法。真实用户会用口语、俚语,也会问出测试集里没有的问题。作者建议通过 Celery 或 Kafka 把线上响应样本交给后台任务评分,让用户请求无需等待评估结果。
监控可以同时看滑动时间窗口内的质量分和结构校验通过率,低于各自的目标阈值就告警。每条评估记录随附提示词版本 ID、模型版本和 temperature。这样,看到 JSON 校验通过率在某次发布后下降时,团队可以先圈定涉及的配置,再追查具体原因。原文没有给出采样比例、窗口长度或告警阈值。
人工复核怎么变成下一次发布的测试
领域细节有时需要人来判断。比如评审模型觉得账单设置的指引读起来合理,熟悉产品的人却能发现它把两类账号的操作路径混在了一起。作者建议按自动评分分流,把低分结果送进人工队列。
下面的示例展示了生产响应如何按分数分流。
def process_production_output(eval_score: int, payload: dict):
"""Route responses based on automated evaluation scores."""
if eval_score < 3:
# Route low-scoring outputs to a triage queue (e.g., database or slack)
send_to_human_review_queue(payload)
else:
# Log high-confidence metrics for reporting
record_production_metric(payload)
看 if eval_score < 3 这一行。线上进人工队列的门槛和 CI 的通过线服务于不同决策,拿到 3 分的回答在这个示例里会卡住 CI,但在线上只会记入指标。人工确认问题后,把触发它的输入和正确的验收标准补进黄金测试集,下一次发布就能测到这个案例。
我的判断
这套方案最有说服力的是把格式、语义和领域判断交给各自合适的检查方式。以返回结构化数据的 Node 接口为例,必填字段和类型交给 Schema 校验,某个回答是否真的解决了用户的问题,再交给模型或人判断。短答如果只有少数合法值,直接断言就够用。自由文本才更需要按标准评估语义。
原文给的是工程经验和示例代码,没有报告实测结果,也没有给出评审模型与人工判断的一致率、误判率或运行成本。换到一般团队,尤其要问一句:评审模型给 4 分的答案,人看了也会放行吗?另外,人工队列只收低分样本,评审模型打高分的错误就可能漏过去。人手有限时,可以拿一小批人工标注样本先校准分数,再决定哪些结果值得卡发布。
能拿来做什么
- 给前端消费的 AI 接口做两层验收,先用现有 Schema 检查必填项和字段类型,再用明确的业务标准检查内容。
- 把已经遇到过的坏回答整理成固定用例,在 CI 里调用当前版本生成答案,再执行断言或评分。
- 给生产抽样记录带上提示词版本 ID、模型版本和
temperature,把人工确认的问题连同验收标准补回测试集。