把SVG趣味题改造成可复核评测

一只画得精致的鹈鹕，双脚却悬在自行车踏板上方；另一只画得粗糙，但车架连通、身体坐稳、脚也踩对了位置。谁该得高分？这篇文章认为，先要分清你在评审画面审美，还是任务完成度。

作者借「用 SVG 画骑自行车的鹈鹕」讨论开放式生成任务的评测：提前写清要求，拆开评分，用不同工具验证不同问题，再留下可复查的记录。它值得程序员关注，因为 AI 生成界面、图形和动画，同样容易出现「看起来不错，实际关系不对」的问题。

先写清任务，才能讨论谁做得更好

「Draw a pelican riding a bicycle in SVG」能检验模型是否把文字要求变成了符合描述的图形代码，却不能据此证明模型内部具备怎样的空间理解能力。

作者建议把测试分成两类。开放任务保留表达自由，只对明确且必要的要求扣分；约束任务则提前规定视角、可见关系和输出格式。例如，每只脚都接触对应踏板，输出一个自包含的 SVG，不使用外部图片或脚本。

两类测试都能做，但不能生成时放任自由，评分时再临时补上细则。否则模型面对的任务和裁判手里的考卷并不是一回事。

还有一条边界容易被忽略：先生成、渲染查看、再修改，测的是完整工作流；一次生成，测的是单次输出能力。作者主张分榜记录，避免把多轮修正的结果直接拿来比较。

把「正在骑车」拆开，分数才有解释力

一句「挺好看，8/10」很省事，却难以解释失分在哪里，也难以让别人复核。

作者建议分开评价主体、自行车结构、骑乘关系和画面呈现，并提前划清各项边界。羽毛细节可以影响表现力，却不该给「是否是一只鹈鹕」反复加分；脚有没有踩在踏板上，也不能被漂亮的夕阳抵消。

评分项要对应具体要求，装饰细节不能替任务完成度加分。

验证工具也要分工。静态规则适合检查文件是否自包含、有没有脚本等明确约束。SVG DOM 能提供元素信息，却不是现成的结构关系图，不能仅凭元素存在就认定脚与踏板接触。

几何检查需要先定义测量对象和判定方式，再开始计算。视觉大模型裁判则应先接受能力检验，回答「左脚是否接触左踏板」这样的具体问题，而不是直接给审美总评。作者还提醒，不能只用一个总体一致率，就认定裁判已经校准可靠。

原文没有给出几何阈值、裁判模型或校准成绩，这里提出的是评测方法，尚不是可直接复用的实现。

动画和裁判变化，都会让榜单失真

静态截图看着正确，不代表动画正确。踏板转起来以后，脚可能沿着另一条路径移动，逐渐脱离接触点。

动画评测因此要检查关系能否持续成立：踏板转动时，脚是否一直跟着它。作者强调，这不只是多截几张图的问题。至于如何采样、如何判断持续接触，这篇摘录没有展开。

评分器自身也可能出错。更换裁判或评分规则，可能让模型分数下降，却被误读成模型能力退步。同样，只换动物名称，并不能充分更新题目；应该改变约束，同时辨别题目难度变化与模型进步。

作者最终关心的，是能否把评测自动化成一套事后可审计的流程，让榜单里的分数经得起追问。

我的判断

我赞同先固定任务、再拆项验证。对程序员来说，这和验收功能很接近：页面有按钮、样式也漂亮，不等于按钮完成了指定操作。把视觉表现与关系正确性分开，能让评测结果更有诊断价值。

但这篇文章没有提供实测对照数据，不能据此认定这套方案已经比人工评审更准确、更便宜。视觉裁判是否可靠、几何检查覆盖多少情况、复核要花多少成本，都还需要验证。

与人工整体打分相比，拆项规则更方便定位问题；与纯静态检查相比，视觉和时间维度检查能覆盖更多行为。代价是评测流程更复杂，也更依赖清楚的定义。一般团队可以先选少量关键要求，不必一开始就追求自动总分。

能拿来做什么

• 比较 AI 生成 SVG 的能力时，先固定输出格式、外部资源限制和必须满足的可见关系，再让模型生成，避免事后追加扣分条件。
• 评审 AI 生成的图形或界面时，把视觉呈现和任务关系分别记录，让「画得漂亮但功能关系错误」有明确的失分位置。
• 检查动画时，围绕必须持续成立的关系设计验证，例如脚与踏板是否始终接触，避免只验收某一帧。
• 保存提示词、生成结果、评分规则和裁判信息，并把单次生成与渲染后修改的结果分开比较，方便分数变化后追查原因。