用反例测试邮件改写是否改变原意
六封合成邮件配有字面锚点和人工核对项,分别检查人名、数字等字面信息,以及否定、条件、责任归属和承诺程度。作者用故意篡改的对照样本演示,即使锚点全部保留,拒绝也可能被改成承诺。
AI 深度解读
邮件里的人名、数字都对,拒绝却变成了答应。Hemmingway 用一组离线样例演示了这个问题:检查器能确认指定的字符串有没有保留,但即使所有字符串都在,改写也可能把原文没有作出的承诺写进去。
如果你在给 AI 改写功能做回归测试,这个例子最实用的地方是把两件事拆清楚。固定样例可以验证检查器有没有按预期工作,改写有没有忠实传达原意,还得逐项核对。
为什么四个锚点都在,邮件还是得退回
字面锚点(literal anchor)就是一组必须出现在输出里的字符串。refusal_and_alternative 这条样例只声明了 ["Sam","6","2","Arjun"]。原邮件拒绝本月额外接手 6 份报告,表示下个月可以审阅 2 份提纲,同时说明自己还没同意执笔。
作者故意改了两处。cannot take on 变成 can take on,拒绝变成了表示有能力或有空接手,这一句本身还没构成承诺。have not agreed to write them 变成 have agreed to write them,则直接把尚未达成的约定写成了既成事实。结尾的 Would that help? 仍然是个开放式问题。
四个锚点都能找到,缺失列表为空,所以检查器返回 needs_manual_semantic_review。这个状态表示字面检查通过,接下来由人判断原意是否改变。按原文给出的人工判定,这条改写应该退回,原因是它改写了发件人的立场和承诺。
整份 JSON 相等,究竟验证了什么
复现需要 Python 3、curl 和一个新的空目录。原文用 curl -fLO 下载四个文件,分别是 cases.json、check_fidelity.py、worked-outputs.json 和 worked-review.json。下载完成后,下面这段命令离线运行检查器,把标准输出写入文件,再与预先发布的结果比较。
python3 check_fidelity.py worked-outputs.json > actual-review.json
python3 - <<'PY'
import json
from pathlib import Path
actual = json.loads(Path('actual-review.json').read_text())
expected = json.loads(Path('worked-review.json').read_text())
assert actual == expected
print({key: row['status'] for key, row in actual['cases'].items()})
PY
关键是 assert actual == expected。它比较解析后的整个 JSON 对象,涵盖每条状态、缺失锚点列表、人工核对规则、值为 null 的人工判定字段和输出文本。任一字段有差异,断言就会失败。
作者报告检查器以退出码 0 结束,deadline_request、conditional_commitment、refusal_and_alternative、amount_and_no_discount、timezone_and_duration 和 attachment_and_owner 这六条都返回 needs_manual_semantic_review。其中五条直接复制各自的原文,用来验证未改动的文本能通过字面筛查并进入人工复核。整个流程没有调用模型,也没有发送邮件。
作者另外报告,对检查器脚本运行了 5 项确定性测试,结果都符合预期。给出的原文没有列出这 5 项的具体输入和断言,因此只能确认作者报告了这些测试结果,覆盖范围有多大仍不清楚。
我的判断
把字面筛查放在人工复核前面,适合处理姓名、金额这类有明确保留要求的字段。它比逐封从头检查多了一层自动筛选,也比要求整封邮件匹配某份参考输出更适合自由改写。碰到否定、条件和承诺,人工核对规则得写得足够具体。仅凭「读起来差不多」,很容易漏掉一句话究竟是在表示有空,还是已经答应。
这组样例实际展示的是,指定锚点全部保留时,语义仍可能翻转。作者没有给出真实模型输出、检出率或与其他评审方式的对照数据。把这套流程用于实际团队评测,是一个可尝试的经验做法。能省多少复核时间、不同评审者能否给出一致判断,原文没有回答。
能拿来做什么
- 给邮件改写功能建一套固定样例,把姓名、金额等字面锚点和「仍拒绝接手」「尚未同意执笔」这类人工核对规则分别记录。
- 在
cases.json增加一条合成样例,保留所有姓名和数字,只翻转否定或承诺,检查这处变更会由字面筛查发现,还是要靠人工规则判定。 - 把整份 JSON 相等断言留给检查器的固定回归测试。评测真实模型时,固定输入和运行设置,收集每一条输出,运行同一个检查器,再逐条核对原先声明的语义规则。