Skill Recorder – 微软出品:通过屏幕录制创建 Skill AI Agent 技能的开源工具

如何让 AI 真正理解一个人的工作习惯,正在成为智能助手进一步发展的关键问题。传统方式通常需要用户手动编写提示词、配置自动化流程或者整理操作步骤,但对于复杂任务来说,很多经验隐藏在实际操作过程中,难以通过文字完整描述。

Skill Recorder 是微软开源的一款 AI Agent 工作流记录工具,它的核心理念非常直接:用户只需要亲自完成一次任务,Skill Recorder 就能够记录整个操作过程,并将这次真实执行过程转换为 AI Agent 可以重复使用的技能。

简单来说,它能够捕获用户在电脑上的真实工作过程,包括鼠标操作、应用切换、窗口变化、访问页面,以及用户主动开启后的语音讲解,然后通过 GitHub Copilot CLI 分析这些信息,将一次操作还原成清晰的任务目标和有序步骤。

最终,这些流程可以生成两种可复用能力:

  • Skill:一个由 SKILL.md 描述的 AI Agent 执行流程;
  • Automation:可以按照计划或者触发条件自动执行的任务。

对于经常处理重复性工作的开发者、内容创作者、运营人员以及企业团队来说,Skill Recorder 提供了一种更自然的方式,让 AI 从“听懂描述”转变为“学习实际工作方法”。

Skill Recorder 的核心功能特点

通过一次操作训练 AI Agent

记录真实工作过程

Skill Recorder 最大的特点,是它不要求用户提前设计复杂的自动化规则。

用户只需要像平时一样完成一次任务,工具会在后台记录:

  • 屏幕操作;
  • 应用程序和窗口切换;
  • 浏览页面;
  • 可选的语音说明。

例如,一个运营人员每天需要整理网页信息并填写表格,可以先完整操作一次。Skill Recorder 会分析这次过程,理解其中的任务目标,然后生成后续可以重复执行的 AI 技能。

这种方式更符合真实工作习惯,因为很多流程并没有明确文档,而是依靠经验完成。

自动生成 Skill 和 Automation

将一次任务转化为长期能力

Skill Recorder 在分析完成后,会生成两类结果。

第一类是 Skill。

它会创建一个:

SKILL.md

文件,让 AI Agent 可以根据步骤按需执行任务。

第二类是 Automation。

它能够将同样的流程绑定到:

  • 时间计划;
  • 特定触发条件。

例如:

每天自动检查项目状态;

每周整理固定数据;

定期生成报告。

这些重复任务都可以通过 Automation 实现。

更接近 AI Agent 的原生工作方式

Skill Recorder 的设计重点,并不是简单录制鼠标轨迹。

生成后的技能更倾向使用 Agent 自身能力,例如:

  • gh CLI;
  • web_fetch

等工具,而不是重新播放 UI 点击过程。

这种方式带来的优势是更容易泛化。

例如,用户录制一次提交表单流程,AI Agent 可以学习这个任务背后的逻辑,而不是机械重复某几个按钮点击,从而能够处理类似任务。

完整的录制、分析、创建流程

Skill Recorder 的工作流程主要分为四个阶段。

Record:录制任务

用户点击录制按钮,或者使用快捷键:

macOS:

⌘⇧R

Windows:

Ctrl+Shift+R

即可开始记录。

录制过程中,Skill Recorder 会在本地后台捕获用户的屏幕和操作行为。

Control:控制录制状态

录制期间,工具提供一个始终置顶的小控制栏。

用户可以查看:

  • 当前捕获状态;
  • 麦克风状态。

同时支持:

  • 静音;
  • 开启声音;
  • 切换麦克风;
  • 完成录制;
  • 放弃当前录制。

Analyze:AI 分析任务

完成录制后,点击 Analyze。

Skill Recorder 会调用 GitHub Copilot,对此次操作进行分析,并生成:

  • 一个整体任务意图;
  • 有序执行步骤。

用户可以检查和修改分析结果,确保最终流程符合实际需求。

Create:生成可复用能力

确认分析结果后,可以生成:

  • Skill;
  • Automation。

至此,一次真实操作就变成了 AI Agent 可以再次执行的工作能力。

Skill Recorder 如何安装使用?

环境要求

根据项目说明,Skill Recorder 采用源码发布方式。

安装过程中:

  • 会下载指定版本 Node.js 运行环境;
  • 在本机编译对应版本代码;
  • 添加 Skill Recorder (Source) 应用。

整个过程不会进行全局安装。

使用前需要:

  • GitHub 账号;
  • Copilot 使用权限。

Copilot CLI 已包含在应用中。

系统支持:

  • macOS(主要目标平台);
  • Windows 11 x 64;
  • Windows 11 ARM 64。

macOS / Ubuntu 安装方法

打开项目 Release 页面,复制对应版本安装命令。项目采用固定 commit 发布,每个版本都会绑定具体源码版本。

示例:

commit="<40-character-release-commit>"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash

如果希望关闭终端后程序继续运行,可以加入:

SKILL_RECORDER_DETACHED=1

参数。

安装完成后:

macOS 会添加:

Skill Recorder (Source)

应用到:

~/Applications

用户可以通过 Spotlight、Launchpad 或 Dock 启动。

Ubuntu 会创建对应应用入口。

Windows 安装方法

Windows 使用 PowerShell:

$commit="<40-character-release-commit>"; $env:SKILL_RECORDER_COMMIT=$commit; irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

安装后,会在:

  • 桌面;
  • 开始菜单;

添加 Skill Recorder (Source) 快捷方式。

第一次使用流程

首次启动时,需要授予屏幕录制权限。

macOS 用户需要:

1. 打开 Skill Recorder; 2. 授权 Screen Recording; 3. 开始录制任务。

之后按照:

录制 → 分析 → 创建

三个步骤即可。

第一次点击 Analyze 时,如果没有登录 Copilot,Skill Recorder 会提示用户完成登录。

Skill Recorder 数据安全说明

哪些数据会被采集?

Skill Recorder 对数据处理进行了明确说明。

录制阶段:

  • 录屏;
  • 数据存储;
  • 帧提取;
  • 可选语音转录;

都会在用户电脑本地完成。

只有用户主动点击 Analyze 后,以下数据才会发送到 GitHub 云端,由 Copilot 处理:

  • 事件时间线;
  • 窗口和文档标题;
  • URL;
  • 剪贴板预览;
  • 截取的屏幕图片;
  • 语音文本。

项目还特别提醒用户:

不要在录制过程中输入、复制、展示或者讲述:

  • 密码;
  • Token;
  • API Key;
  • 其他敏感信息。

支持语音讲解

如果开启语音功能,Skill Recorder 可以记录用户的口头说明。

语音转文字采用 Whisper:

  • 支持 99 种语言;
  • 本地完成转录;
  • 首次使用需要下载约 252 MB 模型。

这对于复杂流程非常有帮助,因为用户可以边操作边解释自己的思考过程。

开发者模式

对于希望参与开发的用户,项目要求:

  • Node.js 24。

源码运行流程:

npm ci
npm run compliance:licenses
npm run dev

运行:

npm run dev

后,会启动 Vite,并打开 Electron 应用,同时支持热更新。

开发过程中,同样支持快捷键:

  • macOS:⌘⇧R;
  • Windows:Ctrl+Shift+R。

我的使用体验

体验 Skill Recorder 后,我认为它最有价值的地方,是改变了 AI 自动化创建流程的方式。

过去想让 AI 完成一个复杂任务,通常需要用户提前整理:

  • 操作步骤;
  • 输入规则;
  • 判断条件;
  • 输出格式。

对于简单任务还可以,但面对真实工作场景时,经常会遗漏一些隐藏经验。

Skill Recorder 提供了一种更加自然的方法:先做一次,然后让 AI 理解。

这种方式特别适合那些“会做但难以描述”的工作。

例如:

整理资料;处理后台任务;执行固定运营流程;检查项目状态。

这些工作通常包含大量经验判断,而一次真实操作能够提供比文字说明更丰富的信息。

从技术角度看,我比较关注它没有停留在简单录屏自动化。

如果只是记录点击位置,很容易因为页面变化失效。而 Skill Recorder 通过 Copilot 分析任务意图,并生成 Skill 或 Automation,让 AI Agent 学习的是任务逻辑,这一点更符合未来智能助手的发展方向。

当然,它目前也有明显限制。

用户需要具备 Copilot 使用条件,同时录制过程中必须注意隐私保护。对于涉及敏感数据的企业流程,使用前需要做好数据管理。

总结

Skill Recorder 是微软推出的一款面向 AI Agent 时代的任务学习工具。

它通过:

  • 真实操作录制;
  • Copilot 智能分析;
  • Skill 自动生成;
  • Automation 自动化执行;

帮助用户将一次工作过程转化为 AI Agent 可以重复执行的能力。

它最大的意义在于降低了创建 AI 自动化流程的门槛,让普通用户也可以通过实际操作训练自己的智能助手。

随着 AI Agent 从聊天工具逐渐走向工作伙伴,Skill Recorder 代表了一种新的交互方式:用户不需要花大量时间教 AI 每一步怎么做,而是通过一次真实示范,让 AI 理解任务背后的逻辑。

对于开发者、效率工具爱好者以及希望探索 AI 自动化工作流的人来说,Skill Recorder 是一个非常值得关注的开源项目。

官方网站

https://github.com/microsoft/skill-recorder

相关推荐

Avatar photo

JameCling

我是 格律诗的软件世界 的作者,一名专注于软件工具、AI 技术和数字效率领域的独立研究者。
多年来,我持续关注互联网工具的发展趋势,体验不同平台的软件产品,并研究它们如何帮助用户提升效率。
我的工作不仅是整理软件信息,而是通过实际测试、功能分析和使用场景研究,帮助用户判断一个工具是否真正值得使用。
格律诗的软件世界 的每一篇文章都希望提供真实、有价值的信息,包括工具特点、使用方法、优缺点分析以及适合的人群。
我相信,好的工具能够改变工作方式,而准确的信息能够帮助用户做出更好的选择。