给提示词加上版本、日志与回归检查
文章建议将提示词从业务逻辑中拆为独立模板文件,通过名称和版本加载。保留旧版并记录每次调用的模板版本,使行为变化可比较、可追溯和可回滚。
AI 深度解读
Prompt 散落在业务代码里,改一句话可能修好一个问题,也可能让另一个功能退步。更麻烦的是,出了异常,团队未必知道生产环境到底用了哪一版提示词。
作者给出的办法很朴素:把 Prompt 当代码管理,单独存放、明确版本、补上评测,再通过 PR 审查变更。这套方法值得借鉴,但文中的测试示例和效果描述,需要分开看待。
先让每次模型调用都能找到对应版本
把 Prompt 写进 f-string 很方便,业务逻辑和提示词却容易缠在一起。作者建议将它移到独立文件,用具名占位符传入业务数据,再按名称和版本加载。
下面这段代码解决的是「调用哪个 Prompt、往哪里填数据」的问题:
from pathlib import Path
from string import Template
PROMPT_DIR = Path(__file__).parent / "prompts"
def load_prompt(name: str, version: str = "v1") -> Template:
return Template((PROMPT_DIR / f"{name}.{version}.txt").read_text())
prompt = load_prompt("summarise_ticket", "v2").substitute(ticket=ticket_text)
关键在最后一行:调用方明确选择 v2,再通过 substitute(ticket=ticket_text) 填入工单。文字修改变成独立文件的差异,查找、审查和回退都有了落点。
作者还要求,不要直接覆盖正在使用的版本。修改时新建 summarise_ticket.v3.txt,切换后继续保留 v2,直到确认新版本可靠。每次模型调用都记录 Prompt 名称和版本,异常输出才有线索可查。
文件有版本,运行记录也得有版本,才能把一次异常对应到具体变更。
评测先检查答案该有什么,别要求逐字一致
作者建议从 20 到 50 条真实输入起步,为每条输入定义好答案必须满足的条件。模型输出会变化,因此测试应检查内容属性,而非完整字符串是否相等。
这段测试把「摘要抓住核心问题」和「控制长度」变成可执行检查:
import pytest
from app.llm import summarise_ticket
CASES = [
("Refund not received after 10 days", "refund"),
("App crashes when uploading a PDF", "crash"),
]
@pytest.mark.parametrize("ticket, keyword", CASES)
def test_summary_mentions_core_issue(ticket: str, keyword: str) -> None:
summary = summarise_ticket(ticket)
assert keyword in summary.lower()
assert len(summary.split()) <= 40
要看清最后两行:摘要需要包含指定关键词,并且按空白切分后不超过 40 个词。退款案例中的 10 days 和上传 PDF 崩溃案例,都是示例输入。
这种检查成本低,也能发现部分退步,但通过测试不等于摘要正确。答案可能包含 refund,却把退款状态写反;split() 的计数方式也不能直接当成中文词数标准。
作者要求每次修改前后都运行评测。「一句小调整破坏了 3 个案例」是对风险的举例,并非文中披露的实测结果。同样,20 到 50 条能抓住大多数回归,是作者的经验判断,原文没有给出覆盖率数据。
PR 审查的应是行为变化,配置也要一起看
Prompt 通过 pull request 修改,审查者既看文字差异,也看评测结果。「优化了提示词」难以核验;「修复 4 个失败案例,没有回归」才有明确的检查对象。不过,后者在原文中也是评审表述示例,并不是作者展示的一次真实成绩。
模型配置也必须跟着版本走。作者指出,为某个模型、temperature 0.2 调好的提示词,换成另一个模型、temperature 0.8,表现可能明显不同。因此,model name、temperature、max tokens 应与 Prompt 版本放在一起管理。
原因很直接:只保留文字,却找不到当时使用的模型和参数,就无法完整解释行为变化。原文没有提供具体模型名,也没有给出配置文件格式或加载实现。
我的判断
我认同这套方法的起点:Prompt 已经参与决定应用行为,就应该进入版本管理、评测和审查流程。它尤其适合已经接入实际业务、需要多人维护的功能。
但独立文件加版本后缀,是一种轻量实现。相比直接在原文件上修改、依靠 Git 历史追踪,它让运行版本更直观,也需要团队处理旧文件积累和版本切换。原文没有比较两种方式的维护成本。
评测则是整套方案最需要补强的地方。关键词和长度适合做基础检查,无法证明语义准确。作者也没有提供重复运行结果、人工评审记录或对照数据,因此不能把这套流程直接等同于质量保证。它首先让问题变得可追踪、可检查。
能拿来做什么
- 给现有工单摘要功能整理一份 Prompt 清单,将提示词移入独立文件,并让调用方明确指定版本;Node 项目也可以沿用这种组织方式。
- 从真实工单中挑选 20 到 50 条输入,先定义核心问题、长度等检查条件,再补充关键词测试容易漏掉的语义错误。
- 提交 Prompt PR 时附上修改前后的评测结果,具体说明修复了哪些案例,以及是否出现新的失败。
- 在每次模型调用中记录 Prompt 名称和版本,并将 model name、temperature、max tokens 与该版本一起管理,方便排查和回退。