让夜间任务自动筛选本地图像模型

一个名叫 makeImage 的命令，把图片里的「Grünerløkka」写成了「Grüre Lløkka」。作者没有只围着提示词打转，而是搭了一个每晚运行的模型侦察任务：寻找新的图像模型，与当前使用的模型比一比，再给出推荐。

这套流程值得看的是评测方法：拿自己的难题测试、让视觉模型辅助判断、检查裁判的位置偏好，最后由人决定。新模型 MiniMax H3 在 6 项测试里赢了 3 项，但作者也明确说了，这只是初步观察。

每晚找模型，关键是拿自己的难题来比

作者的 PC 每晚寻找新的图像模型，由一个 Claude 任务挑选候选，再与当前使用的模型比较。评测包含 6 个高难度提示词，每项测试尝试两次，随后生成推荐。

起点很具体：作者需要图片正确写出「Grünerløkka」，当前模型却写错了；新模型在两次尝试中都拼对了。对于依赖图片中文字的工作流，这比一张整体漂亮、文字却不能用的图片更有参考价值。

评测题应该来自实际失败，而不只是模型擅长展示的效果。

不过，原文没有列出完整的 6 个提示词，也没有说明旧模型名称、生成参数，以及两次尝试的具体执行口径。我们能确认的是作者建立了固定难题对比流程，还不能据此复现全部实验。

视觉模型可以当裁判，但要先检查它的偏好

作者用一个本地视觉模型担任裁判，逐对查看生成图片。但这个裁判存在位置偏好：它更容易选择先看到的那张。

作者的处理方式是把同一对图片按两种顺序分别提交，只统计交换顺序后仍然一致的判断。假设第一次先展示旧模型，第二次先展示新模型，裁判必须两次都选中同一个模型的结果，这一票才算数。

这能筛掉部分受展示顺序影响的判断，但原文没有给出修正前后的误判数据，也没有说明两次判断不一致时，最终推荐如何处理。

裁判与人的审美也会冲突。在一张 coq au vin 菜谱卡片的比较中，视觉模型更喜欢旧模型的版本，作者却更喜欢新模型的版本，最后按自己的判断做了决定。

模型裁判提供参考，人仍然决定什么结果适合自己的用途。

我的判断

我认可这套流程把「发现模型」和「验证模型」连了起来。只追新模型名称，很难知道它能否解决自己的问题；保存失败案例，才有机会判断一次升级是否有用。

但 MiniMax H3 赢得 6 项测试中的 3 项，不能直接解释为全面胜过旧模型。作者只在一台 PC 上做了小规模测试，也没有提供速度、显存占用、运行成本或更大样本的对照数据。至于每晚寻找新模型是否比人工偶尔检查更划算，原文也没证明。

和纯人工看图相比，这套方法适合先筛选候选，减少重复比较；涉及文字是否正确、版式是否可用、视觉风格是否合适时，仍需要明确标准和人工复核。它是一份个人工作流经验，还不是通用模型排名。

能拿来做什么

• 如果你维护图像生成脚本或工具，可以先保存实际出错的提示词，把拼字失败等问题变成后续换模型时的固定测试。
• 如果用视觉模型比较两张图片，可以交换展示顺序再评一次，把判断不一致的案例留给人工检查。
• 如果准备自动生成模型推荐，应同时保留图片和裁判结论，让使用者能回看结果，并自行决定是否切换。
• 如果候选模型数量不多，可以先手动跑通这套比较方法，确认测试题有区分度后，再考虑加入每晚执行的任务。