纠正评测标签偏差，视觉模型成本降86%

Property Finder 想给房产图片审核换个更省钱的视觉模型，却发现评测一直偏袒旧模型：96.8% 的标准答案直接来自旧模型的预测。新模型即使判断正确，只要和旧模型不一致，也可能被算错。

这篇 AWS 案例最有价值的，是他们如何重建答案、逐张分析错误，再调整提示词。最终方案报告成本下降 86%，准确率也有提升。但测试集混入调优样本、模型投入的调优轮次不同，都影响了结果的说服力。

你的标准答案，会不会只是旧模型的习惯

Property Finder 每天处理数万张房产图片，每套房源平均有 15 张图片，每张要评估 11 项质量属性，包括水印、房间类型、装修家具状态、照片质量和施工情况。

问题出在评测数据的来路。96.8% 的标签未经专家独立核验，直接继承自线上视觉语言模型（VLM）。这种评测实际衡量的是「新模型多像旧模型」，而非图片判断是否正确。

当旧模型负责出答案，新模型的正确纠偏也可能被记成错误。

作者发现，水印文字提取中，凭空出现的品牌名、缺失的字符都曾被标成正确。房间分类则强制一张图只有一个类别，无法表达「走廊里能看见卧室」。

剩下 3.2% 的人工标签也有问题。标注人员加入了提示词规格中不存在的 Office 类别，导致答案与任务定义不一致。

所以，人工标注也需要明确规范。答案来自谁、允许哪些类别、遇到边界情况如何处理，都得先定下来。

先修正任务定义，再谈模型分数

他们从未标注的生产房源中选取有代表性的图片，由熟悉房产质量标准的策略与分析专家重新标注，不参考旧模型输出。AWS 团队通过专门的澄清会议复核歧义，统一口径。

阿联酋数据共 356 张，先完成的 256 张用于开发调优，后增加 100 张。另有 230 张埃及图片用于跨区域检查，但文章没有报告结果。

任务定义也随之改变：照片分类和房间类别改用多标签。走廊照片通过门口露出卧室，可以同时保留两个标签。此前被单标签规则制造出来的冲突，终于有了合理表达。

指标则分工使用：

• Micro F1 汇总所有标签预测，作为主要指标，贴近整体标签正确性的目标。
• Macro F1 同时报告，避免高频类别掩盖稀有类别的问题。
• 每个标签的精确率和召回率，用于定位具体漏判与误判。
• 每张图片的交并比（IoU），衡量预测标签与专家标签的重合程度。
• 旋转、水印检测等 9 个单标签属性，另算答案完全一致的准确率。

356 张能支持一定规模的比较，但作者也承认，稀有类别的样本更少，未必足以识别小幅差异。总体分数上涨，不能直接推导成每个边缘场景都可靠。

提示词从 v0 改到 v27，靠的是逐张看错题

作者把提示词优化类比为强化学习：提示词版本是候选方案，Micro F1 是奖励，错误分析提供改进方向。它借鉴了 GEPA（Genetic-Pareto reflective prompt evolution）的思路，即修改提示词组件、评估、选择并继续迭代。

这里的「进化」主要发生在提示词层面。多数版本由团队分析失败图片后修改，AI 助手协助检查和提出建议，并非训练模型权重。

最初的 v0 只有通用分类要求。后续改进都对应具体错误：模型总把门后露出的房间当主房间，就增加「画面占比最大的房间」规则；部分地区的装饰性阿拉伯文字被误判成水印，就补充区域规则。转为多标签后，再允许门后的房间作为附加标签。

几个版本节点值得连起来看：

版本	变化与结果
v21	两项任务转为多标签，作为所有模型共同起点；Llama 4 Maverick 17B Instruct 的开发集 Micro F1 为 0.75
v22	为原有 proprietary model A 调优，开发集 Micro F1 为 0.55
v24	针对 Llama 修正房间大小高估、多标签处理和输出格式
v25	自动优化版本，将关键任务前置
v27	使用 DSPy 的 MIPROv2 重构照片分类任务，该任务 Micro F1 达到 0.76
v27_PF	在 v27 上加入渲染图、边框图片和走廊规则，并保留阿拉伯文字与格式要求

每次模型调用后，还有归一化步骤处理剩余格式差异。v21 以前采用单标签设置，分数不能与后续直接比较。

他们也试过把水印属性与其他属性拆成两次 API 调用，即 2-bucket 方案。准确率没有明显收益，带边框图片的检测反而大幅下降。缺少同一提示词中的水印信息后，模型会把水印叠层误认成边框。

这说明任务拆分需要验证。属性之间共享视觉线索，拆开可能丢掉判断依据。

我的判断

我认可这篇文章的工作顺序：先确认答案可信，再优化模型和提示词。它比直接换更大的模型、增加提示词长度，更接近解决评测失真的根因。

但几个收益数字必须分开读。

在 256 张开发集上，旧模型配 v22 得到 0.55，Llama 配 v27 得到 0.81，Micro F1 相对提升 47%。同一个 Llama 从 v21 的 0.75 提升到 v27 的 0.81，才是文中更接近「提示词调优收益」的比较。

最终在 356 张评估集上，Llama 配 v27_PF 得到 0.80，旧模型配 v22 得到 0.56。然而，这 356 张包含调优用过的 256 张，双方提示词都接触过这些样本。作者明确承认分数偏乐观，新增的 100 张也没有单独报告结果。

调优投入同样不对等：旧模型只有一轮 v22，Llama 经历 v24 至 v27，再加团队的边界规则。因此，结果能支持「他们找到了一套更合适的生产配置」，还不足以证明模型本身在公平预算下领先多少。

成本下降 86% 也有特定口径。估算基于 2025 年 12 月 Amazon Bedrock 的 US East（Ohio）Region，Llama 每张图按 9,000 input tokens、200 output tokens 计算，沿用了原先两次调用的分析。实际单次调用的生产提示词约为 7,500–8,000 input tokens，所以该估算偏高。旧方案成本基于 v21，而准确率比较用 v22，两者并非完全相同的配置。提供的原文没有列出每 1,000 张图片的具体金额。

生产监控还观察到推理延迟下降 40–60%，但未交代并发、延迟分位数等条件。9 个单标签属性中，6 个准确率至少 90%；作者称新方案在全部 11 项属性上持平或超过旧方案，其中照片分类持平，但所给正文缺少逐项明细。

这些结果支持一次具体迁移的选择，不能当成所有视觉任务的性能承诺。

文章也提出用不同模型生成候选标签、由专家逐项裁决，以降低后续标注负担。这是可尝试的扩展思路，文中没有给出它节省多少人工的对照数据。

能拿来做什么

• 给图片识别或日常 AI 编程任务做评测前，先检查标准答案的来源。若答案由当前模型生成，就抽样独立核验，并把「模型生成」与「人工确认」分别记录，避免拿模型输出直接证明模型正确。
• 为自己的视觉业务准备几百个有代表性的专家样本，并提前留出完全不参与调优的测试集。像房间分类这样允许属性重叠的任务，要先确定多标签规则，再选择指标。
• 在 Node 调用链中记录提示词版本、模型、归一化后的输出与失败样本。每轮修改对应具体错误类型，分别看换模型与改提示词的收益；拆成多次 API 调用前，也验证准确率和成本。
• 上线后可抽样运行第二个模型，把分歧图片送人工复核，但先在开发集检查分歧能否捕获真实错误。原方案没有校准置信度，模型分歧只能作为复核线索；Amazon Bedrock Guardrails 可用于内容政策约束，预测是否正确仍需单独评估。