热点

AI SCORE

技术实践2026-10-01 06:23

OpenAI 如何用一周推出 Jev 竞品

Latent Space#OpenAI#CUA#Agent

Editor brief · 编辑速览

Latent Space 深度分析 OpenAI CUA 团队如何在极短时间内推出 Decisions API，探讨快速迭代与 Agent 协调设计。

文章思维导图

Knowledge map

拖拽缩放

Full translation

完整中文译文

为什么 Dwarkesh 对 Computer Use 的看法是错的，以及 OpenAI 如何在一周内推出了自己的 Jev 竞品

三个月前，一直在发布关于 RL 的精彩博客和播客节目的 Dwarkesh，为他关于 RLVR 的视频论文发布了一个框架问题，这惹怒了很多 Computer Use 从业者：

我们从不陌生于公开学习，也从不陌生于拥有庞大平台时出错的压力。然而，我们在 Anthropic 参与过 Computer Use 的发布，在 Claude Cowork 期间制作了第一个大型播客节目，组织了 AIE 上第一个 Computer Use 分论坛，议题涵盖最前沿的技术，并且密切关注着如今为 Codex 带来完整体验的 OpenAI-Sky Software 收购案。这就是为什么我们很高兴为大家带来今天的首位嘉宾——Ari Weinstein，Sky 的联合创始人，现领导着可能被圈外人忽视的所有令人惊叹的 CUA 进展：

Ari 解释了为什么 Computer Use 现在与几个月前「截然不同」，AI 智能体如何学会调试并从故障中恢复，为什么将截图与无障碍数据、DOM、Playwright 和生成的代码结合会改变速度方程，以及为什么下一个前沿是让 AI 智能体在使用软件时真正超越人类。

在后半部分，来自 OpenAI API 团队的 Nikunj Handa 分解了新的开发者技术栈：异步工具调用、轮次内 steering、WebSockets、UltraFast 推理、Decisions API、prompt 缓存、预热、压缩和 Agents API。鉴于我们是第一个做 Jev 播客的，我们特别关注 Decisions API 异常快速的冲刺过程：

以及为什么它目前只是一个 Luna wrapper，但团队有足够的动力和不自我中心去复制他们认为是好的模式。

OpenAI 为什么认为 Computer Use 在短短几个月内发生了巨大变化

当每个 AI 智能体都有了自己的 Linux 计算机时，点与变化

Computer Use 为什么现在可以比普通人更快完成某些任务

从人类水平到「真正超越人类」的 computer use 之路

为什么现代 AI 智能体在调试和从故障中恢复方面做得更好

截图、无障碍树、DOM、Playwright 和生成的 JavaScript 如何协同工作

App Shots 及其为什么比普通截图给模型更丰富的上下文

Computer Use 为什么可以闭合编写软件和测试软件之间的循环

当 AI 智能体可以付款和操作网站时的信任、权限和安全

异步函数调用以及为什么模型在工具运行时不再需要停止推理

轮次内 steering、WebSockets 以及更响应式 AI 智能体背后的架构

UltraFast 推理以及 OpenAI 如何推动前沿模型实现更低延迟

Decisions API 背后的快速内部故事

为什么 Decisions API 不仅仅是低延迟的结构化输出

GPT Live、快速工具调用和实时计算机控制

OpenAI 如何已经将 Decisions API 用于支持分类和内部工作流

更长的 prompt 缓存、缓存预热和缓存感知应用

长时间运行的 AI 智能体线程的服务器端压缩与手动压缩

什么应该放在 Agents API 内部与什么应该放在开发者自己的 harness 中

OpenAI 作为「AI 云」以及在原始模型 API 之上寻找更高级原语

产品与工程，OpenAI 的 Computer Use

X: https://x.com/AriX

LinkedIn: https://www.linkedin.com/in/weinsteinari/

产品，OpenAI API

X: https://x.com/nikunjhanda

LinkedIn: https://www.linkedin.com/in/nikunjhanda/

00:00:00 OpenAI DevDay：Dot、GPT-6.1、Agents API 和 Decisions API

00:02:52 Dot 和个人云计算机

00:04:59 为什么 Computer Use「截然不同」

00:06:04 从 Sky 到自我调试的 Computer Use AI 智能体

00:09:24 Computer Use 如何查看和操作软件

00:12:09 从比人类更快到超越人类的 Computer Use

00:16:03 Agents API：信任、权限和安全

00:17:31 用于编码、测试和 QA 的 Computer Use

00:19:14 GPT-6 API、异步工具调用和 UltraFast 推理

00:23:21 Decisions API 背后的快速故事

00:25:32 Decisions API 是什么以及它如何工作

00:30:24 OpenAI 用新 API 构建了什么

00:32:23 Prompt 缓存、预热和 API 性能

00:35:20 长时间运行 AI 智能体的上下文压缩

00:37:13 记忆、更高级 API 和 AI 云

介绍：OpenAI DevDay 和新的 AI 智能体技术栈

Vibhu [00:00:00]：好的。我们非常兴奋能来到这里。今天是 OpenAI DevDay。特别的播客

Swyx [00:00:08]：我们是你们直播后的第一个播客。

Vibhu [00:00:10]：第一个播客。我们有 Ari 在这里，他领导 Computer Use AI 智能体的产品和工程团队。在我们深入探讨 Computer Use 之前，你想快速回顾一下吗？今天宣布了什么？你们今天发布的一系列公告是什么？

Ari Weinstein [00:00:24]：好的。是的，这是非常激动人心的一天。我们刚刚结束主题演讲。真的很棒。有很多 Computer Use 公告值得关注。我们有 Dot，这是新的个人助手产品，有一些非常令人兴奋的 Computer Use 功能。还有 GPT-6.1 Sol，这是令人惊叹的新模型，我认为它特别适合 Computer Use，因为成本和速度优势。我认为，我们分享过，它的价格是 Astra 的五分之一，如果是专门针对 Computer Use，则是七分之一，这真的很棒。对不起，事情太多了。我在努力梳理。

Swyx [00:01:02]：还有 API。

Ari Weinstein [00:01:03]：Agents API，现在里面有了 Computer Use，这真的很酷，因为现在开发者可以构建与 Codex 和 ChatGPT 相同的 Computer Use。然后是我们现有 Computer Use 功能的演示，比如 app shots，你可以在电脑上做某件事的上下文快速带入 Codex 和 ChatGPT。还有 Mac 上的原生 Computer Use，Roman 让它截取他应用程序的截图，自动地，他可以在 Computer Use 使用他的应用程序时做其他事情。所以是的，真的令人兴奋的 keynote。

Swyx [00:01:35]：还不提 Decisions API。

Ari Weinstein [00:01:37]：Decisions API。

Swyx [00:01:38]：首先，它们是同一个模型吗？就像，这是……还是相同数据集蒸馏到不同模型？

Swyx [00:01:44]：就像，基本上，Computer Use 使用 Decisions API，还是它们有点独立？

Ari Weinstein [00:01:49]：所以 Decisions API 真正酷的地方是，它有所有这些新能力。它并行进行推理。没有推理。它是一个比我们用于 Computer Use 的模型更小的模型。所以这些能力使它非常快。

Dot 和将工作委托给云计算机

Swyx [00:02:07]：是的。

Ari Weinstein [00:02:07]：它们也会让模型在处理长时域、比较复杂的任务时表现略差一些。所以我认为如何把这些方法结合起来仍然是一个开放的研究领域。但我很期待看到大家用 Decisions API 做出什么东西来。

Vibhu [00:02:24]：其中一个有趣的地方是 Dots 现在有了附带的个人电脑。

Ari Weinstein [00:02:28]：是的。

Vibhu [00:02:28]：所以它们看起来更加持久了。你已经使用它们一段时间了。大家应该如何突破边界？人们应该追求什么？应该尝试什么？就我个人而言，现在我用它来做很多客服工作。比如"哦，这个错了。我不想登录。我不想身份验证。"然后找到问题并把它修好。

Ari Weinstein [00:02:41]：很酷。

Vibhu [00:02:41]："哦，这个错了。我不想登录。我不想身份认证。"找到问题并修复它。

Ari Weinstein [00:02:45]：是的。

Vibhu [00:02:46]：我们应该怎样进一步突破？人们应该尝试什么？

Ari Weinstein [00:02:50]：Dots 是一个非常酷的产品，因为每个 Dot 都可以访问云端自己的 Linux 虚拟机，这与我们其他产品不同。你知道的，传统上，我们的产品要么能访问云端浏览器，要么能访问你自己的电脑，但现在你有了一台属于自己的完整 Linux 云电脑。因此它可以运行完整的桌面应用程序，也可以使用网页浏览器。是的，我认为 Computer Use 最强大之处、也是我认为它如此令人兴奋的原因，是它使得 AI 智能体能够完成任何你作为一个人能做的事情，因为世界上所有软件都是为了人类设计的，而现在 AI 智能体也可以使用同样的软件，你就可以把任务委托给 AI 智能体。所以是的，在电脑上做的任何事情，你都可以让一个 Dot 来做。我认为具体什么最有价值真的取决于最终用户是谁，以及什么对他们的人生有价值。但我会建议从思考你花时间做的某件事情开始，然后考虑如何把这些事情委托给 AI 智能体。

Swyx [00:03:47]：是的。很多订机票、购物，说实话甚至玩游戏之类的，对吧？

Ari Weinstein [00:03:52]：完全同意。

Swyx [00:03:52]：是的。

Ari Weinstein [00:03:53]：我不知道。就我来说，我最近做了一件事，我一直在用一份餐食准备服务，因为我在努力吃得健康，你知道吗？我真的很喜欢我找到的这个餐食准备服务，因为它让我可以高度细粒度地自定义我订的餐。所以我可以说，比如"我要这么多克鸡肉和这么多克米饭。"但这个过程太复杂了。我花了两个小时下一单，后来我发现我可以让 Computer Use 帮我做，它 15 分钟就完成了。所以我实际上节省了两个小时。它不仅比我快了八倍，还帮我在 GPT-6.1 Sol 上节省了两小时。

Swyx [00:04:32]：是的。

Ari Weinstein [00:04:32]：所以这类任务我觉得真的非常有力量。

Swyx [00:04:36]：作为一个创作者，我可以告诉你，自动化的首要用例是自动化 YouTube。

Ari Weinstein [00:04:40]：不错。

Swyx [00:04:40]：因为 YouTube 没有通过 API 暴露很多功能。

Ari Weinstein [00:04:43]：是的。

Swyx [00:04:43]：你只能把它放在一个虚拟机里运行，比如说，做他们的 A/B 测试功能或者发社区帖子。这些都没有 API 可用，因为他们讨厌开发者。

Swyx [00:04:53]：总之，所以，

Ari Weinstein [00:04:55]：我们的开发者体验团队也这么说。他们经常用 YouTube 做很多事情。是的。真的很棒。

Swyx [00:04:59]：所以我想聊一聊，你知道。我想稍微深入一点。我们的一位领先的 AI 播客朋友说过 Computer Use 在过去两年里没有进步。

Computer Use 在过去一年里是如何变化的

Ari Weinstein [00:05:12]：是的。

Swyx [00:05:13]：这是一个非常有意思的声明，我认为你是世界上最能谈这个话题的人之一，比如things 是如何进步的，对吧？

Ari Weinstein [00:05:20]：是的。你知道，他们在几个月前说过这个话，我希望他们现在有不同的看法，因为 Computer Use 和一年前相比已经 180 度不同了。

Swyx [00:05:26]：他是个很难被打动的人。

Ari Weinstein [00:05:27]：是的，好吧。我们正在努力。

Swyx [00:05:30]：但是，你知道，你做过——你基本上整个职业生涯都在做一些某种形式的电脑自动化，对吧？

Ari Weinstein [00:05:34]：是的。

Swyx [00:05:34]：比如在 Apple 的快捷指令，然后是 Sky，然后加入 OpenAI。你能梳理一下你的主线吗，是什么在驱动你，以及——你过去什么是不可能的——

Ari Weinstein [00:05:47]：是的。

Swyx [00:05:48]：以及你的里程碑是什么。

Vibhu [00:05:49]：我想在这个问题基础上追问一下，从上周使用 Codex Computer Use 到现在的主要变化是什么？

Ari Weinstein [00:05:57]：是的。

Vibhu [00:05:57]：是模型吗？是 Dots 吗？是 harness 吗？所有这些历史加上今天公告里真正变化的东西是什么？

Ari Weinstein [00:06:04]：是的。关于主线，我想我一直对自动化感到很兴奋，帮助人们自动化任务，因为这样你就可以在生活中节省时间，专注于对你来说比精细操作电脑更重要的事情。是的，这就是我们做那些产品的原因。我之前在 Apple。我们创办了一家公司叫 Sky。后来我们加入了 OpenAI，这真的很令人兴奋。我认为回顾 Sky 很有趣，我们当时也在做 Computer Use，但当时的模型能力差太多了。而现在模型，就在过去一年里，在 Computer Use 方面已经变得极其强大。我认为我看到最大的变化是，以前模型能够可靠地启动任务，但随后会遇到问题，而现在它们真的很擅长调试。它们真的很擅长重试，内省什么在起作用什么不起作用。我认为我们也将 Computer Use 这个领域本身向前推进了。我们现在在使用更多技术。现在的 Computer Use 通常会写代码。所以如果你实际看 Codex 并手动展开工具调用，你会看到它不只是一次做一个动作。它实际上是在编写 JavaScript 代码然后执行，让计算机执行有时多个动作，这是一个很棒的加速和能力。我们使用更多无障碍的多模态接口。所以模型可能使用截图，可能使用无障碍 API，可能使用 Playwright。它可以根据任务使用很多不同的机制。然后，模型加速本身也令人惊叹。所以，今天有什么不同？我认为我们一直在让电脑变得更好，所以我想即使是一天的差异，可能也比不上过去一个月甚至两个月的变化。但是，Dot 中的 Computer Use 真的很令人兴奋，新的模型也是。

衡量 Computer Use 并改进 Harness

Vibhu [00:08:03]：在主题演讲中，Tejal 提到 Computer Use 速度提升了 7 倍，在几个基准测试上也好很多。你们是如何考虑衡量它的？Computer Use 是那种随着时间推移会有改进的事情之一。

Ari Weinstein [00:08:20]：是的。

Vibhu [00:08:20]：是 harness 吗？是模型吗？是后训练吗？

Ari Weinstein [00:08:22]：对。

Vibhu [00:08:22]：你们内部如何看待衡量它有多好，以及新模型有什么变化？

Ari Weinstein [00:08:29]：我们实际上有多种不同的方式来衡量它，其中一些基于不同排列和配置的 harness。情况有点复杂，因为我们的生产产品有更多的安全检查，而且这些检查会根据手头任务的需求进行不同配置。所以有很多种方式来衡量它，但我想无论用哪种方式衡量，我们都能发现相当一致的性能提升。这些提升有时在 harness，有时在模型。是的，GPT-6.1 在 Computer Use 上的成本效益比 Astra 相比基线成本改进还要高，这个结果真的让我很兴奋。这非常酷。

Swyx [00:09:10]：是的。我是说我从直播中非常喜欢的一个可视化是，你在某种程度上在改进你的曲线的帕累托前沿，有很多人在讨论你是如何与 harness 一起改进它的。

Ari Weinstein [00:09:24]：是的。

Swyx [00:09:24]：你能举一些 aha moment 的例子吗？无论是模型驱动 harness、harness 驱动模型，还是其他的？

Ari Weinstein [00:09:32]：我不想重复自己，但我觉得引入更多模态确实非常强大。

Swyx [00:09:36]：好的。

Ari Weinstein [00:09:36]：一个更具体的例子是，在过去，我认为我们看到很多 Computer Use 产品需要花大量时间滚动。你知道的。它会截一张截图。它会尝试做些什么。然后它会说，"哦，我得向下滚动到下一页结果"，然后它会截一张截图，然后它会尝试做些什么。它会再次向下滚动。所以我认为，通过 accessibility 和其他方式，以及直接访问 DOM 和其他类似的东西，现在语言模型实际上可以看到整个页面或整个应用程序。它可以编写一次执行多个步骤的代码。所以这些可能是我见过的最大的单个 aha moment。有很多小的那些，但相比之下不那么激动人心，但实际上我们也发现很多速度改进是由大量的小问题驱动的，我们必须进去深入检查。

App Shots、Accessibility 和更好的计算机上下文

Swyx [00:10:21]：是的。很多非常困难的工程。

Ari Weinstein [00:10:23]：是的。

Swyx [00:10:23]：我是说，app shots 总的来说，对吧？比如，我认为人们不太理解这个区别，因为当你在 Codex 中拍摄 app shot 时有一个很好的可视化，但也许他们不理解这个区别，你实际上可以驱动每个按钮，你有每个文本，以一种非常优化的表示形式。

Ari Weinstein [00:10:40]：是的。确实。实际上如果你想真的对此很较真，你可以进入 Codex，通过按两个命令键来拍摄一张 app shot。这样你就可以从你正在使用的任何应用程序中获取内容，把它带到 Codex 或 ChatGPT 对话中。然后如果你点击附件，点击右上角的小按钮，你可以看到原始文本和原始的 accessibility 表示。是的，我们在这方面做了很多工作，

Swyx [00:11:04]：只是把所有东西都倒出来。是的。

Ari Weinstein [00:11:05]：倒出来，但也要让它 token 高效，高效地完成。这有点像一门艺术。你知道，事实证明，为人类发明技术——那些可能有 accessibility 需求、想使用屏幕阅读器技术的人——这项技术对他们使用电脑非常有帮助。对 LLM 使用电脑也真的非常有帮助。所以这真的是一个很有趣的工作领域。

Vibhu [00:11:27]：作为背景，我觉得很多人不理解 app shots。他们甚至不知道这是一个功能。

Ari Weinstein [00:11:30]：是的。

Vibhu [00:11:31]：就是当你双击 command，它会拉取看起来像截图的东西。

Ari Weinstein [00:11:34]：对。

Vibhu [00:11:34]：你会想，"哦，为什么我刚打开一个截图就扔进去了？"不，它实际上是在拉取所有元数据、所有代码、一切。

Ari Weinstein [00:11:40]：是的，正是如此。所以比如说，如果你截取一个网页的截图，那个截图不包含链接指向哪里。它不包含，也许你截取日历的截图，日——事件标题被截断了，你知道的。但当你拍一张 app shot 时，它给语言模型关于一切的全部上下文，让它可以就做更多的事情。

Swyx [00:12:02]：是的。对于那些想看更多的人，Jason Liu，我邀请他在 AI Engineer 做了一个关于这个的完整 workshop。

Ari Weinstein [00:12:07]：太棒了。

Swyx [00:12:08]：做得很好。

Vibhu [00:12:09]：我有一个更宏观的问题。

迈向超人类计算机使用

Ari Weinstein [00:12:11]：是的。

Vibhu [00:12:11]：关于 Computer Use 智能体。所以你举的截截图、滚动页面、截截图的例子是我们曾经所处的位置。

Ari Weinstein [00:12:17]：对。

Vibhu [00:12:17]：今天，它们已经可以自动化很多事情了。瓶颈在哪里？是模型？是 harness？什么。你认为两年后会怎样？你认为它会连续运行数小时吗？我们如何到达那里？对 Computer Use 的发展方向有什么预测？

Ari Weinstein [00:12:32]：是的。我想说，我认为在过去几个月里团队真正疯狂的成就是，现在 Computer Use 在完成任务方面比大多数情况下的普通人类更快。我认为下一个前沿是让 Computer Use 的性能达到真正的超人类水平——它实际使用软件的速度能和像我们这样的专家计算机用户一样快，甚至更快。我认为当这发生时将会产生真正重大而令人兴奋的影响，因为我认为我们将能够突然构建出提供更多实时体验的产品。而且我认为这也——降低使用 Computer Use 的门槛或激活能，我想，会让我们开始习惯默认地用智能体来做某些我们一直习惯手动做的事情。我认为这也很令人兴奋，因为它会为我们节省大量时间。而且我认为，你知道，有很多不同的小问题和瓶颈阻碍着这一点。我认为在模型方面有东西，在推理方面有东西，在 harness 方面有东西，在表示方面有东西。