同一 prompt 跑 11 个主流 AI 模型：结果差异显著

我们刚刚宣布了与 OpenRouter 的合作伙伴关系，这让我们能够提供两项新功能：

首先，你的项目可以通过我们的 AI Gateway 使用 OpenRouter 上的任意模型。这意味着，如果你的 Web 应用向终端用户提供基于 AI 推理的功能，你现在有了更广泛模型选择来匹配任何任务和预算。

其次，我们扩展了可用于 Agent Runner 的前沿编码模型选择。Agent Runner 是 Netlify 内的聊天提示框，让你能够从零开始构建新项目或对现有项目进行迭代。现在可选的模型包括近期备受炒作的开源模型，如 Kimi K3、GLM 5.2 和 DeepSeek V4，对所有人开放。

我们称之为 Agent Runner，是因为我们在内部运行一个完整的编码智能体，而不是一个精简版的。此前，我们支持 Claude Agent、OpenAI Codex 和 Gemini CLI，这些都针对各自提供商提供的模型进行了优化。

我们为这些智能体提供额外的技能，以及关于当前项目的上下文信息，这样智能体就能准确知道有哪些 Netlify 功能可用（如 Netlify Database、AI Gateway 或 Identity）、何时使用以及如何使用。但为了有效驱动各种全新的模型，我们添加了流行的开源 OpenCode 作为新的智能体选项。

但选择越多，问题也就不可避免地随之而来：我怎么知道哪个模型适合我？我是否错过了真正更好或更具成本效益的东西（这样我就能用更少的额度做更多事），或者是那种像互联网上说的那样令人惊艳的东西？最近关于错失恐惧（FOMO）的讨论可太多了。

为了给你提供一些见解，以下是我们在多种模型上运行相同提示时学到的内容……所有这些模型你现在都可以在 Netlify 上使用了。

你可以在我们创建的这个网站上看到我们测试的所有模型的结果，包含完整报告。

在 Netlify 内部，我们使用 AXIS 来自动评估模型，这是一个我们最近开源的工具。

我们为 AXIS 提供各种测试用例：用于构建新站点然后对其进行迭代的提示。我们指示 AXIS 使用哪些智能体和模型来测试这些提示，并定义 AXIS 随后应执行的检查以及用于对生成的站点进行评分的标准。

这些检查非常专注于生成站点的正确功能而不是其设计，例如：当用户需要时，它是否使用了数据库？在这种情况下，它是否正确使用了 Netlify Database？在简单静态站点就足够的情况下，我们也会确保生成的站点没有过度工程化，没有设置不必要的数据库。

如果某个模型在测试分数上落后，我们就不会在 Agent Runner 中提供它。如果模型经常在正确应用我们的某项技能时失败，或者功能虽然能用但额度成本似乎过高，那么问题可能出在技能本身（在这种情况下我们会优化该技能）。

但这次，我们想为你提供更有实际用处的东西：当你使用消耗额度差异很大的不同模型来构建你的梦想项目时，你会得到什么？结果是什么样的？

我们测试了三个相对简单的用例：

一个当地咖啡店的网站。LLM 最喜欢为当地咖啡店制作网站了！初始提示很简单，一个静态网站就够了，不需要什么花哨的数据库之类的东西。然后我们进行一个后续提示，要求添加一个简单的座位预订选项，并检查模型是如何处理这个需求的。

一个简单的待办事项 Web 应用，多个用户可以查看和添加任务。这需要一个简单的设计，但从一开始就需要一个共享数据库。然后我们要求支持每个项目可选的照片上传，并检查模型是否使用了正确的 Netlify 原语。

一个"我能做什么菜"Web 应用，让用户输入他们家里有的食材，并用 AI 推荐一道菜。这个网站本身相当简单，但我们想检查生成的网站是否正确使用了我们的 AI Gateway 来为用户生成食谱。

对于每个案例，我们将向你展示生成网站的外观，评论值得注意的问题，并比较每个模型消耗了多少额度。当然，这与我们的内部测试套件相比会是一个主观得多测试，但也会是一个非常有趣的测试。我们很想知道你对结果的看法！

所有模型都在 Netlify 上使用默认设置运行。值得一提的是，我们目前默认以低努力（low effort）模式运行 GPT 5.6 Sol，为你提供了一个比 Opus 更经济的选择，同时仍能提供相当不错的效果（你将在下面看到）。不过，努力程度设置现在由你控制，我们的默认值可能会随着时间改变。

这篇文章只涵盖第一个场景：咖啡店的静态页面，而后续文章将专注于更简单的用例之外的探索。即使是这个简单的案例也有很多值得审视的地方，所以我们开始吧。

场景 #1：当地咖啡店

这是我们的第一个提示：

为一个社区咖啡店构建一个单页网站：营业时间、地址、简短的菜单和一张照片。网站上的任何内容都不会变化，除非我自己编辑。

最后一句话是作为提示告诉模型不需要花哨的内容管理系统。我们的默认技能还包括一些 UI 设计指导，主要是为了避免常见的陷阱（例如现在令人恐惧的紫色 AI 垃圾内容），并让模型思考适合用户需求的视觉标识。但除此之外，每个模型都可以自由地构建它认为我们想要的任何东西。

在我们展示网站的样子之前，这里有一张表格，比较了我们测试的每个模型的额度使用情况。每个模型运行了三次，点击任何结果都会跳转到实际生成的网站！

模型	平均额度	每次运行消耗额度（链接指向实际网站）
Claude Opus 5	519	253 credits · 249 credits · 1,055 credits
Claude Sonnet 5	143	81 credits · 245 credits · 103 credits
GPT 5.6 Sol（默认低努力模式）	141	173 credits · 158 credits · 92 credits
Gemini 3.6 Flash	103	109 credits · 91 credits · 111 credits
Kimi K3	102	125 credits · 95 credits · 86 credits
Gemini 3.1 Pro	53	57 credits · 52 credits · 49 credits
GPT 5.6 Terra	39	43 credits · 23 credits · 49 credits
DeepSeek V4 Pro	37	47 credits · 30 credits · 33 credits
GLM 5.2	27	15 credits · 42 credits · 24 credits
Kimi K2.7 Code	19	21 credits · 18 credits · 17 credits
DeepSeek V4 Flash（最新版本 - 0731）	2.4	3.4 credits · 1.3 credits · 2.5 credits

这是一个相当广泛的分布，不是吗？不仅如此：Claude Opus 的平均值被严重拉高，因为它的三次运行中有一次花费了高达 1,055 个额度！（提醒一下，在免费计划中你有 300 个额度；个人计划包含 1,000 个额度；专业计划包含 3,000 个额度。专业计划的额外额度包是 10 美元购买 1,500 个额度。）

那么 immediate 的问题是：这个 Opus 花费值得吗？其他模型有什么权衡？让我们开始深入研究。

这是那次消耗 1,055 额度的运行生成的完整页面（约比其他任何运行多 4 倍）。

说实话，我觉得它很可爱，在视觉设计和细节上都充满考量（考虑一下中间带有咖啡豆的"印章状"元素：那是一个实际的文本元素，可以添加动画），还有底部的自定义地图。深色模式开箱即用——在上面的链接中查看实际网站。

当然，我们没有明确向模型提供关于我们咖啡店的任何实际细节（嗯，除了它是一个"社区"咖啡店，这确实引导所有模型走向某个特定方向）。设计语言时髦但也许现在已经有些老套了（例如双字体、双色标题），但嘿——我们没有给出其他方向。

那么，Opus 的其他两次运行怎么样？（左边那次用了 253 额度；右边那次用了 249 额度）

也不赖！矢量图形实际上需要模型付出很多工作，上面的例子在 LLM 目前能达到的水平方面几乎处于前沿（说实话，与图像或文本生成相比，这还不是一个很好的状态）。

至于第一个结果是否真的"好 4 倍"，意见可能各不相同。但在我做过的所有测试中，Opus 确实比其他模型更容易出现额度使用过度的情况（相对于其"典型"基准线）。这并不能保证更差或更好的结果，只是经常会发生。

让我们看看其他一些模型，然后反思我们能学到什么。

以下是三个候选模型，平均消耗 143 credits（81 credits · 245 credits · 103 credits）：

这三个结果仍然有一些令人愉悦的细节，只是少了一些（而且内容总体上也更少）。矢量图形明显更简单了，确实不太适合用于真实上线站点。这并不能说明这个模型在编写复杂代码或回答哲学问题方面的能力，但我们在这里并没有提出这类需求。在这个价位上，让我们看看 OpenAI、Google 和 Kimi 能提供什么。

GPT 5.6 Sol（低投入模式）

当我们让 OpenAI 的 Opus 级模型减少一些思考时间时，会发生什么？

（平均 141 credits：173 credits · 158 credits · 92 credits）

深入分析这些结果，我认为在基本设计直觉方面——至少在这个场景下——OpenAI 顶级模型的低投入模式胜过了 Anthropic 的中级模型。内容更加丰富，虽然图片有些千篇一律，但没有奇怪的矢量形状。

当我们再看 OpenAI 下一档的模型（Sol→Terra→Luna），会不会出现和刚才 Anthropic 从 Opus 切换到 Sonnet 时一样的下降？

令人惊讶的是，事实并非完全如此：在这里 Terra 似乎有一种不同的视觉语言，而且不一定是更差的那种。内容方面确实更简单了。存在一些视觉故障：左侧运行中有一张图片缺失，中间运行中有低对比度文字覆盖在图片上——但没有什么严重的问题。

（平均 39 credits：43 credits · 23 credits · 49 credits）

到目前为止，如果我有一个非常模糊的项目设计和语言想法，我个人的倾向是用 Opus 5 和 GPT 5.6 Terra 运行同一个提示词，得到两个非常不同但都有价值的方案。

Gemini（3.6 Flash 和 3.1 Pro）

这些模型不是同一代产品，差异很明显：Gemini 3.6 Flash 实际上产生了更好的结果（或者说，与其他现代模型更一致），且消耗了更多 credits，相比之下 Gemini 3.1 Pro 消耗更少。

以下是 Gemini 3.1 Pro 平均消耗 53 credits 生成的结果。我甚至不打算放 live 站点的链接，因为确实没什么可看的。

是的，这是三次完全独立的运行。它做了我们在提示词中要求的事情，真的仅此而已。

另一方面，Gemini 3.6 Flash 似乎跨越了整整一代，且平均消耗了 103 credits（109 credits · 91 credits · 111 credits）。它在内容方面也投入了更多的努力。所有模型都会自我重复，但 Gemini 似乎重复得更多。

Kimi（K3 和 K2.7 Code）

好的，现在让我们来看看开源模型。从最新的 Kimi K3 开始，以下是生成的结果（平均 102 credits；125 credits · 95 credits · 86 credits）：

需要明确的是，Kimi K3 的定位主要是面向长周期 AI 智能体任务的前沿模型，各种基准测试和评测也证实了它在该领域的强大能力。它的目标是与 Fable 5 竞争，而不是 Opus 5。但在这个窄范围的设计导向任务中，它并没有特别突出的表现。若要真正发挥这个模型的优势，我们需要一套完全不同的提示词，针对复杂的 Web 应用进行工程化设计——这将在后续文章中展开。

将模型架构大幅降级到 Kimi K2.7 Code，以下是平均仅 19 credits 生成的结果：

尽管在 K2.6 模型发布前后人们对 Kimi 的视觉能力有一些炒作，但在设计或内容方面，这里确实没什么可看的。

我们来试试这个：看这些页面，忽略 GLM 对枫叶的喜爱，试着估计每个运行消耗了多少 credits：

以下是正确答案，从左到右分别是：15、42、24（平均 27）。令人惊讶的是，除去枫叶元素，这些运行结果差异非常大，就像是来自几个不同的模型。以 GLM 相对较低的 credit 成本来看，在确定这个模型能为你做什么之前，多跑几次可能是值得的。

需要注意的是，GLM 作为一个纯文本模型，不接收图像输入，在其当前的 5.2 版本中无法做到 Kimi 模型能做到的事情：获取用户截图作为灵感，例如"这是我想要的设计风格"。

DeepSeek V4（V4 Pro 和 V4 Flash 0731）

V4 Pro 比最新的 V4 Flash 版本（也称为 0731）稍老一些。大约 47 credits 的成本，它没有提供令人眼前一亮的结果——特别是与上面提到的几乎同等成本的 GPT 5.6 Terra 中档模型相比。

中间运行的图片也损坏了：HTML 文件引用了一个实际上在项目中不存在的图片文件，这在如今 OpenAI、Anthropic 或 Google 的任何商业模型中都不太可能发生。

而 V4 Flash 0731 则更新一些，并在消耗积分数量上创下了新纪录。

平均仅需 2.4 个积分（3.4积分 · 1.3积分 · 2.5积分），就能获得一组混合结果。有趣的是，中间那个结果不仅看起来最像中端闭源模型可能给出的效果，在语言风格上也如出一辙，而且在所有运行中实际消耗的积分也是最少的。

中期结论与后续计划

这里有两点重要说明：

首先，对于任何超出简单网站或项目初始构思阶段的需求，问题就从模型设计和文案有多好，转变为：

• 它是否知道在何时、如何使用平台功能来实现你想要的功能？能否存储用户数据、在你的 Web 应用中使用 AI，以及处理身份验证和安全性？
• 能否严格验证自己的工作？能否验证项目的前端部分（这就是图像输入变得关键的地方）？能否根据你的反馈可靠地找到并修复问题，并在你自己的输入具有误导性或你忽略了一个重要问题时告知你？

在后续文章中，我们将开始深入探讨这些问题，并（剧透）注意一些模型在编写项目代码方式上的有趣差异。

我的第二点说明是，即使仅就我所涵盖的这个以设计和文案为核心的测试而言，考虑你想要模型在多大程度上自主产生构思也很重要。目前，Opus 可能会提供最有巧思的文字游戏和最精致的设计，但你未必需要它具备这些能力。当然，Opus 也会对其自己的工作进行不懈的自我验证（它并非只靠外表取胜）。但请记住，这背后附带着高于平均水平的积分成本。

在预算有限的情况下，你更倾向于选择一种尝试预先规划并为你处理一切的交钥匙方案，还是选择更简单的模型和更具迭代性的方法，由你通过后续提示引导模型达到你想要的效果？在这里，没有哪个选项一定是错误的。

希望这篇文章能启发你去测试不同的方法，并自己判断所获得结果的质量。我们也很兴奋地想与大家分享（很快！）更高级的 Web 应用场景的测试结果，在那些场景中，Netlify 平台的能力会真正大放异彩。

Try Agent Runners — Build and iterate on projects with your choice of coding agent and model.

Agent Runners documentation — Learn how Agent Runners work on Netlify.

AI Gateway documentation — Use AI models from your applications through Netlify AI Gateway.

Open models on Netlify — Learn more about Netlify's expanded model support through OpenRouter.

How we measure the Netlify agent experience — Learn about AXIS, our open-source framework for evaluating coding agents.

Explore the full test results — Compare the sites and results from the models tested in this series.