GitHub Copilot 可以操控桌面应用了

计算机操控功能现已面向公众预览版开放，支持 GitHub Copilot CLI 和 macOS 及 Windows 上的 GitHub Copilot 应用。

Copilot 可以代表你与桌面应用程序进行交互（例如读取可访问的应用内容和视觉上下文、点击控件、输入和编辑文本、按压按键、滚动、拖拽以及跨应用导航工作流）。这扩展了 Copilot 能够帮助自动化的任务范围，包括那些不提供 API、命令行界面或 MCP 集成的旧版软件和纯 GUI 软件的工作流。

你始终保持控制权。Copilot 在控制某个应用之前会请求批准，你可以查看或重置已选择始终允许的应用。在 macOS 上，计算机操控功能还会引导你完成所需的辅助功能和屏幕录制权限设置。组织托管的设置可以禁用该功能。

在 Copilot CLI 中，运行 /computer on 启用该功能。使用 /computer show 检查状态，使用 /computer off 禁用。

在 GitHub Copilot 应用中，打开 Settings，选择 Computer Use，然后开启 Enable Computer Use。你也可以使用 /computer on。

计算机操控在你描述清楚预期结果、涉及的应用以及任何重要约束条件时效果最佳。例如，你可以让 Copilot 总结浏览器中的通知、更新演示文稿中的内容，或在桌面应用程序中跨工作流传递信息。

在 GitHub Copilot CLI 和 GitHub Copilot 应用中了解更多关于计算机操控的信息