GitHub Copilot 推出计算机操控功能

GitHub 于周四上线了计算机控制功能的公开预览版，让 Copilot CLI 及其桌面应用得以在 macOS 和 Windows 上操控应用程序。Agent 能够读取应用内容并进行点击、输入、滚动和拖拽操作，包括那些没有 API、没有命令行界面、也没有 MCP 集成的旧版 GUI 软件。

GitHub 在发布会上演示了在 Safari 中填写费用报告的场景，但也描述了其他用例：汇总旧应用中的信息、更新演示文稿、录入数据、以及在不同应用之间迁移信息。开发者可以通过终端或 Copilot 应用来访问该功能——Copilot 应用基于 Copilot CLI 构建，于今年早些时候推出，是 Claude Code 和 Codex 的竞争对手。

GitHub 还有一段路要追赶。OpenAI 于今年四月将计算机控制功能集成到了 Codex，而 Anthropic 则在今年早些时候将更广泛的 macOS 计算机控制能力带到了 Claude Code 和 Claude Cowork。

Computer use vs. MCP servers

在 Copilot CLI 中启用计算机控制功能，会激活一个自带 MCP server 的捆绑插件。它在本地会话中工作，通过操作系统的可访问性树来读取应用内容，并在需要视觉上下文时截取屏幕截图。

GitHub 建议在可能的情况下优先使用直接工具。也就是说，如果 API、MCP server、终端命令、文件系统工具或专用浏览器工具能够完成任务，通常会比桌面交互提供更结构化的信息和更可预测的结果。

这一建议限制了 GitHub 对计算机控制功能适用场景的判断。OpenAI 总裁 Greg Brockman 上个月则提出了更宏大的主张，他认为 Agent 可以使用与人类相同的界面，从而让整个行业免去为每一款软件构建和维护连接器的工作。

Saved approvals outlast their removal

开发者在 Copilot CLI 中通过 /computer on 启用该功能，或通过 Copilot 应用的"计算机控制"设置开启。macOS 还需要辅助功能权限来操作控件，以及屏幕录制权限来在需要视觉上下文时检查窗口。

CLI 会话的权限模式决定了 Copilot 在访问应用前是否询问开发者；开发者可以用 /permissions show 查看。当收到提示时，他们可以允许当前会话的访问、选择"始终允许"以便将来会话使用，或拒绝。拒绝规则优先于自动批准和已保存的批准。

在 CLI 中保存的批准会同步到同一台计算机上的桌面应用。从"始终允许"列表中移除一个应用，会清除该应用在将来会话中的批准，但不会影响当前运行会话中已授予的访问权限。

停止工作需要单独操作：在 CLI 中按两次 Esc，或在桌面应用中点击 Stop 或按 Esc。

Enterprise controls over computer use

企业策略会覆盖开发者的本地偏好。如果托管设置阻止了计算机控制功能，Copilot CLI 会报告该功能不可用。

企业所有者还可以通过 managed-settings.json 控制开发者是否可以跳过批准提示。该限制适用于 Copilot 应用、CLI 和 VS Code。

GitHub 针对 Business 和 Enterprise 的默认启用策略不会改变此预览版的 opt-in 状态。该策略从 10 月 22 日开始对未配置的功能生效，但不包括预览功能。

Reliability depends on the interface

时间或窗口状态的改变可能导致 Copilot 重复操作或停滞。GitHub 还警告说，Agent 可能会选错控件、输入到错误的字段中，或在动态界面和复杂工作流中遇到困难。

应用窗口中可见的敏感信息也可能成为 Agent 的上下文。

屏幕上出现的意外内容以及模糊的指令，可能导致操作影响到用户的设备、数据或关联账户。应用窗口中可见的敏感信息也可能成为 Agent 的上下文。