Gemini 在 Mac 后台操作桌面应用
Google 正为 Mac 版 Gemini 引入 Computer Use,使其能够操作桌面应用、本地文件和网站。任务在隔离的后台窗口执行,并提供实时预览,用户可继续处理其他工作。
AI 深度解读
Gemini 开始接手 Mac 上的桌面杂务了。Google 为 Gemini Mac app 加入 Computer Use:用户描述目标后,它可以跨本地文件、桌面应用和网站完成多步骤操作,并在隔离的后台窗口里运行,让用户继续使用屏幕和鼠标。
这条消息值得关注的,不只是 AI 会点击按钮,而是桌面代理能否和人的工作同时进行。不过,原文提供的是功能说明和官方示例,没有成功率、耗时或独立测试,距离判断它是否可靠还差一层证据。
后台操作,解决了桌面代理的什么问题
Computer Use 的交互方式是:用户说出要完成什么,Gemini 负责点击、输入,以及在菜单和表单之间导航。它处理的对象横跨本地文件、桌面应用和网站,不再局限于聊天窗口里的文本。
这里更有辨识度的设计,是操作发生在一个隔离的后台窗口中。按 Google 的说法,用户可以通过聊天里的实时预览观察进度,同时继续使用自己的屏幕和光标。
它试图把桌面自动化变成一项可以并行进行的工作。
这对长流程尤其重要。如果每次执行任务都要占用鼠标,用户就得停下来等;后台运行至少在交互设计上减少了这种冲突。但原文没有解释「隔离」的具体机制,也没有说明它如何处理文件冲突、应用弹窗或用户同时修改同一份内容。
因此,目前能确认的是 Google 宣布了这种运行方式,不能进一步推断它具备什么级别的系统隔离能力。
能做哪些杂务,哪些操作还需要人点头
Google 给出的示例包括:批量编辑照片和 3D 场景、根据本地 PDF 填写物流表单,以及制作演示文稿。
这些例子的共同点,是任务需要在多个界面之间搬运信息、连续执行操作。例如,根据 PDF 填表,至少涉及读取材料、找到对应字段,再把内容输入表单。用户交付的是目标,具体操作步骤交给 Gemini。
控制权也没有全部交出去。原文列出了四项机制:
- 用户选择 Gemini 可以访问哪些应用。
- 用户可以实时观看每一步。
- 执行过程中可以随时暂停。
- 关键操作需要事先批准。
这里仍有一个缺口:原文没有定义哪些操作属于「关键操作」。 提交表单、覆盖文件、导出结果分别如何处理,文章没有说清,不能替产品补上规则。
开放范围也要分清。报道发布时,Computer Use 开始面向美国、以英语推出;Gemini Mac app 则已提供下载。能下载应用,不等于所有地区和语言都已获得该功能。原文也没有交代其他地区的时间表、订阅要求或支持的 macOS 版本。
我的判断
我认为,后台窗口、实时预览、应用授权和暂停机制,是这次发布最值得看的部分。桌面代理要进入日常工作,除了会操作,还得让用户知道它正在做什么,并能及时接管。
但这些设计是否足够,原文没有实测答案。官方列出的任务只能说明预期用途,不能当作已经验证的稳定能力。文章没有提供任务成功率、错误恢复表现,也没有与手工操作或其他自动化工具比较耗时。
报道还称 OpenAI 最近也在投入 Computer Use,并凭 Astra model 明显领先。但它没有提供评测方法或对照数据,这个判断暂时只能作为媒体评价。
和固定脚本、应用自身的批处理功能相比,描述目标的方式可能更方便处理临时任务;对于步骤稳定、需要重复执行的流程,现有工具仍然值得保留。仅凭这篇报道,还不足以判断 Gemini 能替代它们。
能拿来做什么
- 如果已获得功能,可以从副本照片的批量编辑开始试用,重点检查结果是否一致、出错后能否顺利暂停和接管。
- 处理「本地 PDF 到物流表单」这类任务时,可以让 Gemini 完成录入,再逐项核对字段,并确认提交是否属于需要批准的关键操作。
- 尝试制作演示文稿时,可以观察它如何跨文件和应用组织内容,分别检查信息准确性与版式结果,避免把完成操作等同于完成交付。
- 评估是否加入日常工作流时,可以记录完成时间、人工接管次数和错误类型,用自己的任务验证价值,而不是只看演示是否流畅。