基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
9.0
重磅
AI SCORE
模型发布2026-11-18 18:19

GPT‑6.2 两款模型降低基准测试成本

Latent Space#GPT‑6.2#模型选型#推理成本
Editor brief · 编辑速览

Latent Space 报道称,GPT‑6.2 Astra 和 Sol 在基准测试中的运行成本下降。早期测试者对 Astra 的实际使用体验评价不一,报道将 Sol 视为更可能的日常主力。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

GPT-6.2 Astra 和 Sol 的看点,是把更强的能力压进更低的单次任务成本。按 Latent Space 汇总的测试,Astra 接近综合榜首,Sol 则以约 15% 的任务成本追平 9 月的 Astra。对日常用 AI 写代码的人,后者可能更值得关注。

但跑分和使用感受出现了明显分裂:有人认为几乎不可用,也有人拿它完成复杂工程。读这篇资讯,最有用的是看清三个变量:模型能力、任务成本,以及包在模型外面的执行框架。

Sol 为什么可能比 Astra 更适合当主力

原文给出的定位很清楚:Anthropic 仍占据综合能力榜首,OpenAI 更突出的是单位成本能买到多少能力。在 Artificial Analysis 的 Intelligence Index 中,GPT-6.2 Astra 得到 62 分,Fable 5.2 为 65 分。Sol 则以约 15% 的单次任务成本,达到 9 月 Astra 的水平。

API 定价能解释这种分工。以下价格均按每百万 tokens 计算:

模型 输入 缓存输入 输出
Astra $8 $0.40 $40
Sol $2 $0.10 $10

两者都提供 1M 上下文和 128K 输出上限,API 名分别是 gpt-6.2-astra、gpt-6.2-sol。原文称,它们正在向 ChatGPT Work、Codex 的 Plus、Pro、Enterprise、Edu 用户及 API 开发者开放。

相同 token 数量下,Sol 的三个价格档位都是 Astra 的四分之一。但实际任务账单还取决于推理长度、工具调用和返工次数,不能只拿单价做选择。

Perplexity 的研究任务测试 WANDR 提供了一个更具体的参照:Astra 得分 0.783,每次任务约 $12.54;Sol 得分 0.746,每次约 $2.65。差距是否值得多花钱,要看任务对正确率的要求,以及结果是否容易验收。

选日常主力模型,应当比较完成一次合格任务的成本。

标题中的「便宜 20%–600%」也需要打个问号。原文没有明确解释这一区间的计算口径,「便宜 600%」不能直接理解成通常的降价比例。正文里有来源、有任务条件的成本数据,比这个标题数字更有参考价值。

工程跑分很好,为什么使用者还会不满意

支持 Astra 的证据并不少。

在 Mercor 的 OpenWorldEngineer 中,Astra 得到 67.2%,Fable 5.2 为 54.6%,GPT-6 Astra 为 44.2%。Vals 的多轮 Vibe Code Bench 中,Astra 第一,Sol 第三。这些结果至少说明,新模型在相应工程评测流程里有竞争力。

OpenAI 自报的 Agents’ Last Exam 1.1 数据更激进:Astra 使用 xhigh,比 GPT-6 Astra 使用 max 高 5.2 分,单次任务成本不到三分之一;相比 Fable 5.2 高 5.5 分,成本约为其 5%。GDPval v2 上,Astra 比前代少用 22% 的输出 tokens。

这里必须保留限定条件:这些是 OpenAI 报告的结果,而且推理档位、任务和执行流程都有具体设置。它们不能直接推导出「任何仓库里都更省钱」。

负面反馈同样具体。Matt Shumer 表示,经过数周测试,他认为模型「几乎不可用」,其 Opus 和 Fable agents 拒绝了大量 Astra 子代理产出。另一位测试者 Pietro Schirano,则把不少早期问题归因于 harness,也就是管理提示词、工具、上下文和执行循环的外围程序。

两种反馈未必互相否定。模型可能擅长某种评测,也可能不适应某个团队的任务分配和验收方式。让其他模型审查子代理产出,还会引入审查标准是否可靠的问题;原文没有提供足够细节来判断。

演示也应单独看待。Gabriel Chua 用超过 100 个 Codex threads 构建可步行探索的新加坡;Simon Willison 用同一条 three.js 机甲提示词比较 Astra、Sol、Carbon、Fable。它们能展示能力边界,却不能替代反复运行后的成功率统计。

Latent Space 作者承认部分批评成立,也认为强化学习留下的异常行为很明显;但作者仍用这些模型自动化工作。这是使用体验,原文没有给出他们团队的任务样本和对照数据。

真正拉开成本的,可能是模型外面的执行框架

原文后半部分最值得程序员读的内容,是 harness 的影响。

Hugging Face 在 pi 内训练了一个小型 adapter,让 Qwen3.8-27B 在 SWE-bench Pro 最难的 51 个任务中,从解决 15 个提高到 32 个,平均每个任务的工具调用减少 55%。限定条件很重要:这是特定子集上的结果,并非完整基准成绩。

Baseten 测试了 22 种 harness 和 5 个开放模型,每个通过任务的成本最多相差 4.4 倍。Google 的 SIM 实验还说明,框架优化可能绑定模型:在 Opus 上演化出来的 harness,换到 Gemini 后得分为 68.41,低于初始框架的 73.89。

对 AI 编程工具来说,只替换模型名称,沿用所有旧配置,未必能拿到新模型的最好结果。

多 agent 也有类似问题。Perplexity 报告混合模型团队胜过 4 个主模型实例;Replit 则发现,NumPy 任务从 16 个 agents 增加到 32 个后,收益递减。Hugging Face 的一次 1,000-agent 运行中,任一时刻实际调用模型的只有 40–60 个 agents,每写 1 个 token,大约要读 130 个,合并和测试也构成瓶颈。

并发数量增加后,协调和验证可能先成为瓶颈。

缓存同样影响账单。SemiAnalysis 的样本中,1.8% 未命中缓存的请求贡献了约 15% 的支出。对于反复携带仓库说明、工具定义和长上下文的编程任务,是否复用上下文,可能比单价表看起来更重要。

我的判断

我认同把 Sol 作为主力候选,把 Astra 留给更难任务的方向。但这是值得验证的分工,不是已经适用于所有团队的结论。

原文混合了第三方评测、厂商自报、个人体验和演示。工程榜单有参考价值,强烈的负面评价也值得调查,二者都不足以替代自己的任务验收。尤其是「子代理被拒绝」,需要继续区分代码确实有错、任务描述不完整,还是审查模型过于苛刻。

比起立刻把全部调用迁移到一个新模型,我更倾向于按任务难度分配模型,并把升级条件写清楚。相较于固定使用最强模型,这种做法有节约成本的空间,但会增加路由和评估工作;原文没有给出普通团队采用后能节省多少的对照数据。

还有两个容易被夸大的信号。1M 上下文只是容量指标,原文没有证明塞入整个仓库后仍能稳定理解。OpenAI 把 Astra 的 AI Self-Improvement 评为 High,也不等于模型已经能够自主持续改进:另一套 Vals RSI-Index 从 27.07% 升至 29.01%,其人类参照为 50%,两种口径不能混着解释。

能拿来做什么

  • 从现有前端或 Node 项目中挑选可复现任务,例如修复测试失败、修改跨文件逻辑或完成一个明确需求,用 Sol、Astra 和当前模型分别运行,记录通过验收的成本、耗时与人工修改量。
  • 把任务验收条件交给工具执行,例如类型检查、测试和构建;如果让模型审查模型产出,应保留拒绝理由,并抽查它是否判断正确。
  • 在现有 AI 编程流程中试验模型分工,让较低成本模型先处理常规任务,达到明确的失败条件后再升级,同时统计升级比例和返工成本。
  • 检查 agent 日志里的重复读取、缓存未命中、工具调用及合并等待,再决定是否增加并发。优先解决已经测到的瓶颈。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 Latent Space,原文版权归原作者所有。

阅读原文
上一篇
给AI生成的前端动画加上减弱动态验收
下一篇
两代 Astra 模型该按验收成本比较

资讯速览

Latent Space · 2026-11-18 18:19

AI 评分 9.0 / 10

相关标签

#GPT‑6.2#模型选型#推理成本

继续阅读

  • 失窃模型密钥暴露智能体部署风险
  • 给AI生成的前端动画加上减弱动态验收
  • 两代 Astra 模型该按验收成本比较
  • 让多个 AI 共用一份可核验的执行记录
  • 支付去重之后,智能体为何仍会重付