LLM 模型实战对比：用「画蒙娜丽莎」评估能力

LLM 模型实战对比：用「画蒙娜丽莎」评估能力 | 前端进阶之旅

Full translation

完整中文译文

实验设计与开放式任务

我们构建了一个绘图竞技场：给模型一张空白的白色画布和一套有色铅笔工具，然后闪开。模型设置颜色、笔尖宽度和压力，铺下一批笔画，进行混合、擦除，并调用 view_canvas 来查看自己的作品并决定需要修复什么。它可以复制目标图像或根据文本提示进行绘制。

我们运行了四个视觉模型，GPT-5.6 Sol、Claude Fable 5、Grok 4.5 和 Gemini 3.6 Flash，针对两个目标（蒙娜丽莎和梵高的《星月夜》，两者都进行了客观评分）和五个开放式提示，总共 28 幅绘画。我们将涵盖工具使用、成本、输出，以及模型是否实际改进了它们的工作，最后给出我们的意见。

关于为什么我们要做这件事，有必要作一个简要说明。我们上一次这样的实验（模型制作音乐视频）引发了很好的讨论，有些人将其理解为我们在宣传模型的创意或艺术能力。这些并非对模型能力的客观测试。它们是故意设计的开放式、模糊的任务。以下是我们个人继续运行它们的原因：

它们很有趣，而且真正信息量丰富。 观看模型处理一项宽松、开放式的任务比再看一个基准数字更能有趣地展示能力。

它们暴露了真实的边界与开放权重之间的差距。 更便宜的开放权重模型绝对可以为大量执行工作替代边界，我们将继续报告这一点。但也存在很多基准最大化的情况，像这样的任务可以贯穿其中。它们真正地将边界能力与其余部分分开。Grok 4.5，正如你将看到的，在这项"基本"绘图任务上表现粗糙，我们尝试的开放权重模型甚至无法使用，有些只是返回了一张空白画布。（这可能会随着 Kimi K3 而改变，一旦它完全开源，我们将报告这一点）

它们展示了长期运行任务的真实成本。 Claude Fable 5 几乎总是花费比其他模型更长的时间，花费更多的钱，并且产生了更差的输出。Fable 在许多任务上击败了 GPT-5.6，包括音乐视频挑战，但在这个任务上，它的开销更高，产出更差。根据你的用例，这种权衡很重要。

我们喜欢这些讨论。 讨论确实很有趣，如果你对设置或新任务有建议，我们会将其考虑在内。运行这些一直很有趣，看到输出非常令人兴奋。

标准化工具集

每个模型都使用了完全相同的有色铅笔工具集：

plan： 一个无操作的草稿本，用于思考和步骤之间的规划。

view_target： 再次查看目标图像。

view_canvas： 渲染当前页面并查看它。这也是我们对绘画与目标进行评分的时候。

set_color / set_brush / set_pressure： 当前铅笔颜色、笔尖宽度和压力（0 到 1 的不透明度，低压力用于柔和的色调）。

draw： 一次调用中铺下一批标记（笔画、线条、形状轮廓、点）。没有实心填充，色调和颜色通过分层构建，就像真正的铅笔一样。

smudge： 混合/柔化一个矩形区域，就像混合笔。

erase / clear_canvas： 将一个区域抬回白色 / 重置整个页面。

整个工具集是开源的，位于 github.com/hershalb/canvas-arena。将其指向任何目标图像或文本提示并自己运行。