GPT‑6.2 两款模型降低基准测试成本
Latent Space 报道称,GPT‑6.2 Astra 和 Sol 在基准测试中的运行成本下降。早期测试者对 Astra 的实际使用体验评价不一,报道将 Sol 视为更可能的日常主力。
AI 深度解读
GPT-6.2 Astra 和 Sol 的看点,是把更强的能力压进更低的单次任务成本。按 Latent Space 汇总的测试,Astra 接近综合榜首,Sol 则以约 15% 的任务成本追平 9 月的 Astra。对日常用 AI 写代码的人,后者可能更值得关注。
但跑分和使用感受出现了明显分裂:有人认为几乎不可用,也有人拿它完成复杂工程。读这篇资讯,最有用的是看清三个变量:模型能力、任务成本,以及包在模型外面的执行框架。
Sol 为什么可能比 Astra 更适合当主力
原文给出的定位很清楚:Anthropic 仍占据综合能力榜首,OpenAI 更突出的是单位成本能买到多少能力。在 Artificial Analysis 的 Intelligence Index 中,GPT-6.2 Astra 得到 62 分,Fable 5.2 为 65 分。Sol 则以约 15% 的单次任务成本,达到 9 月 Astra 的水平。
API 定价能解释这种分工。以下价格均按每百万 tokens 计算:
| 模型 | 输入 | 缓存输入 | 输出 |
|---|---|---|---|
| Astra | $8 | $0.40 | $40 |
| Sol | $2 | $0.10 | $10 |
两者都提供 1M 上下文和 128K 输出上限,API 名分别是 gpt-6.2-astra、gpt-6.2-sol。原文称,它们正在向 ChatGPT Work、Codex 的 Plus、Pro、Enterprise、Edu 用户及 API 开发者开放。
相同 token 数量下,Sol 的三个价格档位都是 Astra 的四分之一。但实际任务账单还取决于推理长度、工具调用和返工次数,不能只拿单价做选择。
Perplexity 的研究任务测试 WANDR 提供了一个更具体的参照:Astra 得分 0.783,每次任务约 $12.54;Sol 得分 0.746,每次约 $2.65。差距是否值得多花钱,要看任务对正确率的要求,以及结果是否容易验收。
选日常主力模型,应当比较完成一次合格任务的成本。
标题中的「便宜 20%–600%」也需要打个问号。原文没有明确解释这一区间的计算口径,「便宜 600%」不能直接理解成通常的降价比例。正文里有来源、有任务条件的成本数据,比这个标题数字更有参考价值。
工程跑分很好,为什么使用者还会不满意
支持 Astra 的证据并不少。
在 Mercor 的 OpenWorldEngineer 中,Astra 得到 67.2%,Fable 5.2 为 54.6%,GPT-6 Astra 为 44.2%。Vals 的多轮 Vibe Code Bench 中,Astra 第一,Sol 第三。这些结果至少说明,新模型在相应工程评测流程里有竞争力。
OpenAI 自报的 Agents’ Last Exam 1.1 数据更激进:Astra 使用 xhigh,比 GPT-6 Astra 使用 max 高 5.2 分,单次任务成本不到三分之一;相比 Fable 5.2 高 5.5 分,成本约为其 5%。GDPval v2 上,Astra 比前代少用 22% 的输出 tokens。
这里必须保留限定条件:这些是 OpenAI 报告的结果,而且推理档位、任务和执行流程都有具体设置。它们不能直接推导出「任何仓库里都更省钱」。
负面反馈同样具体。Matt Shumer 表示,经过数周测试,他认为模型「几乎不可用」,其 Opus 和 Fable agents 拒绝了大量 Astra 子代理产出。另一位测试者 Pietro Schirano,则把不少早期问题归因于 harness,也就是管理提示词、工具、上下文和执行循环的外围程序。
两种反馈未必互相否定。模型可能擅长某种评测,也可能不适应某个团队的任务分配和验收方式。让其他模型审查子代理产出,还会引入审查标准是否可靠的问题;原文没有提供足够细节来判断。
演示也应单独看待。Gabriel Chua 用超过 100 个 Codex threads 构建可步行探索的新加坡;Simon Willison 用同一条 three.js 机甲提示词比较 Astra、Sol、Carbon、Fable。它们能展示能力边界,却不能替代反复运行后的成功率统计。
Latent Space 作者承认部分批评成立,也认为强化学习留下的异常行为很明显;但作者仍用这些模型自动化工作。这是使用体验,原文没有给出他们团队的任务样本和对照数据。
真正拉开成本的,可能是模型外面的执行框架
原文后半部分最值得程序员读的内容,是 harness 的影响。
Hugging Face 在 pi 内训练了一个小型 adapter,让 Qwen3.8-27B 在 SWE-bench Pro 最难的 51 个任务中,从解决 15 个提高到 32 个,平均每个任务的工具调用减少 55%。限定条件很重要:这是特定子集上的结果,并非完整基准成绩。
Baseten 测试了 22 种 harness 和 5 个开放模型,每个通过任务的成本最多相差 4.4 倍。Google 的 SIM 实验还说明,框架优化可能绑定模型:在 Opus 上演化出来的 harness,换到 Gemini 后得分为 68.41,低于初始框架的 73.89。
对 AI 编程工具来说,只替换模型名称,沿用所有旧配置,未必能拿到新模型的最好结果。
多 agent 也有类似问题。Perplexity 报告混合模型团队胜过 4 个主模型实例;Replit 则发现,NumPy 任务从 16 个 agents 增加到 32 个后,收益递减。Hugging Face 的一次 1,000-agent 运行中,任一时刻实际调用模型的只有 40–60 个 agents,每写 1 个 token,大约要读 130 个,合并和测试也构成瓶颈。
并发数量增加后,协调和验证可能先成为瓶颈。
缓存同样影响账单。SemiAnalysis 的样本中,1.8% 未命中缓存的请求贡献了约 15% 的支出。对于反复携带仓库说明、工具定义和长上下文的编程任务,是否复用上下文,可能比单价表看起来更重要。
我的判断
我认同把 Sol 作为主力候选,把 Astra 留给更难任务的方向。但这是值得验证的分工,不是已经适用于所有团队的结论。
原文混合了第三方评测、厂商自报、个人体验和演示。工程榜单有参考价值,强烈的负面评价也值得调查,二者都不足以替代自己的任务验收。尤其是「子代理被拒绝」,需要继续区分代码确实有错、任务描述不完整,还是审查模型过于苛刻。
比起立刻把全部调用迁移到一个新模型,我更倾向于按任务难度分配模型,并把升级条件写清楚。相较于固定使用最强模型,这种做法有节约成本的空间,但会增加路由和评估工作;原文没有给出普通团队采用后能节省多少的对照数据。
还有两个容易被夸大的信号。1M 上下文只是容量指标,原文没有证明塞入整个仓库后仍能稳定理解。OpenAI 把 Astra 的 AI Self-Improvement 评为 High,也不等于模型已经能够自主持续改进:另一套 Vals RSI-Index 从 27.07% 升至 29.01%,其人类参照为 50%,两种口径不能混着解释。
能拿来做什么
- 从现有前端或 Node 项目中挑选可复现任务,例如修复测试失败、修改跨文件逻辑或完成一个明确需求,用 Sol、Astra 和当前模型分别运行,记录通过验收的成本、耗时与人工修改量。
- 把任务验收条件交给工具执行,例如类型检查、测试和构建;如果让模型审查模型产出,应保留拒绝理由,并抽查它是否判断正确。
- 在现有 AI 编程流程中试验模型分工,让较低成本模型先处理常规任务,达到明确的失败条件后再升级,同时统计升级比例和返工成本。
- 检查 agent 日志里的重复读取、缓存未命中、工具调用及合并等待,再决定是否增加并发。优先解决已经测到的瓶颈。