人工工作流转化为Agent程序的系统方法

dev.to · AI#Agent#Microsoft#工作流自动化

Editor brief · 编辑速览

微软Skill Recorder将桌面会话录制→Copilot CLI分析意图步骤→人工审查→生成可复用Agent技能。相比UI宏，高层级流程描述更易维护。

文章思维导图

Knowledge map

拖拽缩放

Full translation

完整中文译文

Microsoft 的 Skill Recorder 中有价值的理念并不在于它录制桌面会话这一事实。其声明的流程是：捕获一个真实的工作会话，要求 GitHub Copilot CLI 重建意图和有序步骤，让一个人审查它们，然后创建一个可重用的 Skill 或 Automation。

这个区别对工程意义重大。UI 宏会回放一个脆弱的坐标序列。经过审查的程序可以用更高的抽象层级描述工作，而且根据该项目的设计，它倾向于使用 CLI 或网页抓取等原生 agent 工具，而不是重放鼠标点击。对于接口比业务规则变化更频繁的循环工作流来说，这是一个更有希望的维护边界。

README 说录制、存储、帧提取和可选的叙述转录都在本地进行。它也说选择 Analyze 会将事件时间线、提取的屏幕图像和叙述文本发送到 GitHub 云端供 Copilot 处理。这意味着屏幕内容、标题、URL 和剪贴板预览不是无关的细节——它们是威胁模型的一部分。

在考虑使用这样的工具之前，我会从一个去身份化的、低权限的工作流开始；清空剪贴板和通知；并审查每一个生成的步骤。捕获的异常不应该无声地变成将来的自动化操作。

该仓库采用 MIT 许可证。其当前包配置标识版本 0.3.1，是一个使用 Copilot SDK 和本地转录相关依赖的 Electron/React 应用程序。README 记录了 Windows 验证和源代码发布安装详情。

这对于将循环的、跨应用程序的工作转化为可审查和改进的程序的团队来说似乎是相关的。它不适合那些无法录制、无法允许云分析或无法容忍自动化前人工审查的工作流。

未测试或运行：本文仅基于公共仓库和源代码配置。它不声称进行了功能、安全或质量方面的验证。

进一步阅读：项目 README 和发布页面。

如需进一步操作，您可以考虑屏蔽此人和/或举报滥用。