
如何让 AI 真正理解一个人的工作习惯,正在成为智能助手进一步发展的关键问题。传统方式通常需要用户手动编写提示词、配置自动化流程或者整理操作步骤,但对于复杂任务来说,很多经验隐藏在实际操作过程中,难以通过文字完整描述。
Skill Recorder 是微软开源的一款 AI Agent 工作流记录工具,它的核心理念非常直接:用户只需要亲自完成一次任务,Skill Recorder 就能够记录整个操作过程,并将这次真实执行过程转换为 AI Agent 可以重复使用的技能。
简单来说,它能够捕获用户在电脑上的真实工作过程,包括鼠标操作、应用切换、窗口变化、访问页面,以及用户主动开启后的语音讲解,然后通过 GitHub Copilot CLI 分析这些信息,将一次操作还原成清晰的任务目标和有序步骤。
最终,这些流程可以生成两种可复用能力:
- Skill:一个由
SKILL.md描述的 AI Agent 执行流程; - Automation:可以按照计划或者触发条件自动执行的任务。
对于经常处理重复性工作的开发者、内容创作者、运营人员以及企业团队来说,Skill Recorder 提供了一种更自然的方式,让 AI 从“听懂描述”转变为“学习实际工作方法”。

Skill Recorder 的核心功能特点
通过一次操作训练 AI Agent
记录真实工作过程
Skill Recorder 最大的特点,是它不要求用户提前设计复杂的自动化规则。
用户只需要像平时一样完成一次任务,工具会在后台记录:
- 屏幕操作;
- 应用程序和窗口切换;
- 浏览页面;
- 可选的语音说明。
例如,一个运营人员每天需要整理网页信息并填写表格,可以先完整操作一次。Skill Recorder 会分析这次过程,理解其中的任务目标,然后生成后续可以重复执行的 AI 技能。
这种方式更符合真实工作习惯,因为很多流程并没有明确文档,而是依靠经验完成。
自动生成 Skill 和 Automation
将一次任务转化为长期能力
Skill Recorder 在分析完成后,会生成两类结果。
第一类是 Skill。
它会创建一个:
SKILL.md
文件,让 AI Agent 可以根据步骤按需执行任务。
第二类是 Automation。
它能够将同样的流程绑定到:
- 时间计划;
- 特定触发条件。
例如:
每天自动检查项目状态;
每周整理固定数据;
定期生成报告。
这些重复任务都可以通过 Automation 实现。
更接近 AI Agent 的原生工作方式
Skill Recorder 的设计重点,并不是简单录制鼠标轨迹。
生成后的技能更倾向使用 Agent 自身能力,例如:
ghCLI;web_fetch
等工具,而不是重新播放 UI 点击过程。
这种方式带来的优势是更容易泛化。
例如,用户录制一次提交表单流程,AI Agent 可以学习这个任务背后的逻辑,而不是机械重复某几个按钮点击,从而能够处理类似任务。
完整的录制、分析、创建流程
Skill Recorder 的工作流程主要分为四个阶段。
Record:录制任务
用户点击录制按钮,或者使用快捷键:
macOS:
⌘⇧R
Windows:
Ctrl+Shift+R
即可开始记录。
录制过程中,Skill Recorder 会在本地后台捕获用户的屏幕和操作行为。
Control:控制录制状态
录制期间,工具提供一个始终置顶的小控制栏。
用户可以查看:
- 当前捕获状态;
- 麦克风状态。
同时支持:
- 静音;
- 开启声音;
- 切换麦克风;
- 完成录制;
- 放弃当前录制。
Analyze:AI 分析任务
完成录制后,点击 Analyze。
Skill Recorder 会调用 GitHub Copilot,对此次操作进行分析,并生成:
- 一个整体任务意图;
- 有序执行步骤。
用户可以检查和修改分析结果,确保最终流程符合实际需求。
Create:生成可复用能力
确认分析结果后,可以生成:
- Skill;
- Automation。
至此,一次真实操作就变成了 AI Agent 可以再次执行的工作能力。
Skill Recorder 如何安装使用?
环境要求
根据项目说明,Skill Recorder 采用源码发布方式。
安装过程中:
- 会下载指定版本 Node.js 运行环境;
- 在本机编译对应版本代码;
- 添加 Skill Recorder (Source) 应用。
整个过程不会进行全局安装。
使用前需要:
- GitHub 账号;
- Copilot 使用权限。
Copilot CLI 已包含在应用中。
系统支持:
- macOS(主要目标平台);
- Windows 11 x 64;
- Windows 11 ARM 64。
macOS / Ubuntu 安装方法
打开项目 Release 页面,复制对应版本安装命令。项目采用固定 commit 发布,每个版本都会绑定具体源码版本。
示例:
commit="<40-character-release-commit>"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash
如果希望关闭终端后程序继续运行,可以加入:
SKILL_RECORDER_DETACHED=1
参数。
安装完成后:
macOS 会添加:
Skill Recorder (Source)
应用到:
~/Applications
用户可以通过 Spotlight、Launchpad 或 Dock 启动。
Ubuntu 会创建对应应用入口。
Windows 安装方法
Windows 使用 PowerShell:
$commit="<40-character-release-commit>"; $env:SKILL_RECORDER_COMMIT=$commit; irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex
安装后,会在:
- 桌面;
- 开始菜单;
添加 Skill Recorder (Source) 快捷方式。
第一次使用流程
首次启动时,需要授予屏幕录制权限。
macOS 用户需要:
1. 打开 Skill Recorder; 2. 授权 Screen Recording; 3. 开始录制任务。
之后按照:
录制 → 分析 → 创建
三个步骤即可。
第一次点击 Analyze 时,如果没有登录 Copilot,Skill Recorder 会提示用户完成登录。
Skill Recorder 数据安全说明
哪些数据会被采集?
Skill Recorder 对数据处理进行了明确说明。
录制阶段:
- 录屏;
- 数据存储;
- 帧提取;
- 可选语音转录;
都会在用户电脑本地完成。
只有用户主动点击 Analyze 后,以下数据才会发送到 GitHub 云端,由 Copilot 处理:
- 事件时间线;
- 窗口和文档标题;
- URL;
- 剪贴板预览;
- 截取的屏幕图片;
- 语音文本。
项目还特别提醒用户:
不要在录制过程中输入、复制、展示或者讲述:
- 密码;
- Token;
- API Key;
- 其他敏感信息。
支持语音讲解
如果开启语音功能,Skill Recorder 可以记录用户的口头说明。
语音转文字采用 Whisper:
- 支持 99 种语言;
- 本地完成转录;
- 首次使用需要下载约 252 MB 模型。
这对于复杂流程非常有帮助,因为用户可以边操作边解释自己的思考过程。
开发者模式
对于希望参与开发的用户,项目要求:
- Node.js 24。
源码运行流程:
npm ci
npm run compliance:licenses
npm run dev
运行:
npm run dev
后,会启动 Vite,并打开 Electron 应用,同时支持热更新。
开发过程中,同样支持快捷键:
- macOS:⌘⇧R;
- Windows:Ctrl+Shift+R。
我的使用体验
体验 Skill Recorder 后,我认为它最有价值的地方,是改变了 AI 自动化创建流程的方式。
过去想让 AI 完成一个复杂任务,通常需要用户提前整理:
- 操作步骤;
- 输入规则;
- 判断条件;
- 输出格式。
对于简单任务还可以,但面对真实工作场景时,经常会遗漏一些隐藏经验。
Skill Recorder 提供了一种更加自然的方法:先做一次,然后让 AI 理解。
这种方式特别适合那些“会做但难以描述”的工作。
例如:
整理资料;处理后台任务;执行固定运营流程;检查项目状态。
这些工作通常包含大量经验判断,而一次真实操作能够提供比文字说明更丰富的信息。
从技术角度看,我比较关注它没有停留在简单录屏自动化。
如果只是记录点击位置,很容易因为页面变化失效。而 Skill Recorder 通过 Copilot 分析任务意图,并生成 Skill 或 Automation,让 AI Agent 学习的是任务逻辑,这一点更符合未来智能助手的发展方向。
当然,它目前也有明显限制。
用户需要具备 Copilot 使用条件,同时录制过程中必须注意隐私保护。对于涉及敏感数据的企业流程,使用前需要做好数据管理。
总结
Skill Recorder 是微软推出的一款面向 AI Agent 时代的任务学习工具。
它通过:
- 真实操作录制;
- Copilot 智能分析;
- Skill 自动生成;
- Automation 自动化执行;
帮助用户将一次工作过程转化为 AI Agent 可以重复执行的能力。
它最大的意义在于降低了创建 AI 自动化流程的门槛,让普通用户也可以通过实际操作训练自己的智能助手。
随着 AI Agent 从聊天工具逐渐走向工作伙伴,Skill Recorder 代表了一种新的交互方式:用户不需要花大量时间教 AI 每一步怎么做,而是通过一次真实示范,让 AI 理解任务背后的逻辑。
对于开发者、效率工具爱好者以及希望探索 AI 自动化工作流的人来说,Skill Recorder 是一个非常值得关注的开源项目。
官方网站
https://github.com/microsoft/skill-recorder







