基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
编程提效2026-11-21 02:50

Gemini 在 Mac 后台操作桌面应用

The Decoder#Gemini#桌面自动化#Agent
Editor brief · 编辑速览

Google 正为 Mac 版 Gemini 引入 Computer Use,使其能够操作桌面应用、本地文件和网站。任务在隔离的后台窗口执行,并提供实时预览,用户可继续处理其他工作。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

Gemini 开始接手 Mac 上的桌面杂务了。Google 为 Gemini Mac app 加入 Computer Use:用户描述目标后,它可以跨本地文件、桌面应用和网站完成多步骤操作,并在隔离的后台窗口里运行,让用户继续使用屏幕和鼠标。

这条消息值得关注的,不只是 AI 会点击按钮,而是桌面代理能否和人的工作同时进行。不过,原文提供的是功能说明和官方示例,没有成功率、耗时或独立测试,距离判断它是否可靠还差一层证据。

后台操作,解决了桌面代理的什么问题

Computer Use 的交互方式是:用户说出要完成什么,Gemini 负责点击、输入,以及在菜单和表单之间导航。它处理的对象横跨本地文件、桌面应用和网站,不再局限于聊天窗口里的文本。

这里更有辨识度的设计,是操作发生在一个隔离的后台窗口中。按 Google 的说法,用户可以通过聊天里的实时预览观察进度,同时继续使用自己的屏幕和光标。

它试图把桌面自动化变成一项可以并行进行的工作。

这对长流程尤其重要。如果每次执行任务都要占用鼠标,用户就得停下来等;后台运行至少在交互设计上减少了这种冲突。但原文没有解释「隔离」的具体机制,也没有说明它如何处理文件冲突、应用弹窗或用户同时修改同一份内容。

因此,目前能确认的是 Google 宣布了这种运行方式,不能进一步推断它具备什么级别的系统隔离能力。

能做哪些杂务,哪些操作还需要人点头

Google 给出的示例包括:批量编辑照片和 3D 场景、根据本地 PDF 填写物流表单,以及制作演示文稿。

这些例子的共同点,是任务需要在多个界面之间搬运信息、连续执行操作。例如,根据 PDF 填表,至少涉及读取材料、找到对应字段,再把内容输入表单。用户交付的是目标,具体操作步骤交给 Gemini。

控制权也没有全部交出去。原文列出了四项机制:

  • 用户选择 Gemini 可以访问哪些应用。
  • 用户可以实时观看每一步。
  • 执行过程中可以随时暂停。
  • 关键操作需要事先批准。

这里仍有一个缺口:原文没有定义哪些操作属于「关键操作」。 提交表单、覆盖文件、导出结果分别如何处理,文章没有说清,不能替产品补上规则。

开放范围也要分清。报道发布时,Computer Use 开始面向美国、以英语推出;Gemini Mac app 则已提供下载。能下载应用,不等于所有地区和语言都已获得该功能。原文也没有交代其他地区的时间表、订阅要求或支持的 macOS 版本。

我的判断

我认为,后台窗口、实时预览、应用授权和暂停机制,是这次发布最值得看的部分。桌面代理要进入日常工作,除了会操作,还得让用户知道它正在做什么,并能及时接管。

但这些设计是否足够,原文没有实测答案。官方列出的任务只能说明预期用途,不能当作已经验证的稳定能力。文章没有提供任务成功率、错误恢复表现,也没有与手工操作或其他自动化工具比较耗时。

报道还称 OpenAI 最近也在投入 Computer Use,并凭 Astra model 明显领先。但它没有提供评测方法或对照数据,这个判断暂时只能作为媒体评价。

和固定脚本、应用自身的批处理功能相比,描述目标的方式可能更方便处理临时任务;对于步骤稳定、需要重复执行的流程,现有工具仍然值得保留。仅凭这篇报道,还不足以判断 Gemini 能替代它们。

能拿来做什么

  • 如果已获得功能,可以从副本照片的批量编辑开始试用,重点检查结果是否一致、出错后能否顺利暂停和接管。
  • 处理「本地 PDF 到物流表单」这类任务时,可以让 Gemini 完成录入,再逐项核对字段,并确认提交是否属于需要批准的关键操作。
  • 尝试制作演示文稿时,可以观察它如何跨文件和应用组织内容,分别检查信息准确性与版式结果,避免把完成操作等同于完成交付。
  • 评估是否加入日常工作流时,可以记录完成时间、人工接管次数和错误类型,用自己的任务验证价值,而不是只看演示是否流畅。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 The Decoder,原文版权归原作者所有。

阅读原文
上一篇
微软开发工具更新:模型、审查与浏览器代理
下一篇
LLM 输出非法 JSON,如何分层处理

资讯速览

The Decoder · 2026-11-21 02:50

AI 评分 8.0 / 10

相关标签

#Gemini#桌面自动化#Agent

继续阅读

  • Agent 传文件只传引用,字节交给宿主搬运
  • 微软开发工具更新:模型、审查与浏览器代理
  • LLM 输出非法 JSON,如何分层处理
  • 用 Claude 写代码生成可编辑视频
  • 给编程智能体划清实现与发布权限