Grabette：开源机器人操作数据采集工具

瓶颈不在模型，而在数据。

机器人学习面临的是数据供给问题。我们已经拥有能力强大的 policy 架构，包括基于 Transformer 的 VLA、Diffusion 和 Flow Matching policy，甚至还有 world model，也有训练这些模型所需的 GPU。我们缺少的是大规模、多样化、来自真实世界的操作数据。

通过遥操作机器人来收集数据，成本可能很高，要求也很苛刻：首先，你得有一台机器人。而且，取决于采用的遥操作方式，如果数据收集需要持续数小时，整个过程对用户来说可能非常枯燥，同时还会涉及大量硬件和后勤方面的挑战。面对任务和环境所要求的广泛多样性，这种方法很难规模化。

但收集机器人数据，并不一定需要机器人。你只需要一只人手、一个夹爪、一台相机，以及一种能够恢复手部动作 6-DoF 轨迹的方法。捕捉下这段演示，就得到了机器人可以从中学习的数据。

这正是我们今天发布的 Grabette：一个开放、低成本的操作数据录制系统。拿起它，用自己的手录制一项任务，就能获得一套干净、可直接用于机器人的数据集。不需要机器人，不需要实验室，也不需要遥操作设备。

这背后还有一个更大的目标：如果录制一段演示能像拍视频一样简单，那么任何人都可以参与贡献。我们希望 Grabette 能够催生一个大型、开放、协作共建的机器人操作数据集——这是任何单独一家实验室都不可能独立完成的。

站在 UMI 的肩膀上

Grabette 直接受到 Stanford Universal Manipulation Interface（UMI）的启发。UMI 是一款配备鱼眼相机的手持夹爪，可以记录“野外环境”中的操作演示，通过 SLAM 恢复相机轨迹，并利用这些数据训练视觉运动 policy。

UMI 已经证明了这套方法行得通。此外，还有一些闭源设备，例如 Agibot 的 MEgo gripper、Genrobot 的 DAS gripper，以及 Sunday Robotics 的 skill capture glove。我们的目标，是让整套系统用起来毫不费力，把从“我有一个任务”到“我有一个训练好的模型”之间的门槛降到尽可能低。

Grabette 构建在现代开放生态之上：使用 LeRobot 管理数据集，通过 Hugging Face Hub 进行分享，并提供一套无需安装任何软件、可以直接在浏览器中运行的处理 pipeline。任何人都可以在工作台上组装 Grabette，在真实场景中使用它，并贡献自己采集的数据。

我们已经开发 Grabette 数月之久，如今觉得它已经足够实用，可以与大家分享。我们非常高兴现在把它交到你们手中！

Grabette 是一款手持夹爪，集成了重建一段操作演示所需的全部设备。

它配备了两台相机，各自承担不同的任务。我们有意将这两个角色拆开：价格低廉的广角鱼眼相机负责为 policy 提供类似腕部相机、包含丰富上下文的视野；RGBD 相机则承担稳定进行 6-DoF 跟踪的主要工作。

Grabette 负责记录用户执行任务时产生的数据，但在训练完成后，还需要它的机器人对应设备来执行学到的动作。因此，请认识一下 Gripette——Grabette 在机器人一侧的双胞胎，也就是机械臂的末端执行器。

这个家族共享相同的硬件基因：

• Grabette：手持式演示设备，由相机、IMU 和夹爪组成，BOM 成本约为 490 欧元。

• Gripette：电动夹爪，由相机和两个伺服电机组成，BOM 成本约为 120 欧元。它可以安装在真实或模拟机械臂上，完成整个执行闭环。

Grabette 手持录制设备（左）和 Gripette 机器人夹爪（右）。

一切都是开源的

快去查看代码仓库吧！

• 硬件：Grabette 和 Gripette 的 CAD 与生产文件。

• 采集服务：运行在设备端 Raspberry Pi 上的软件。

• 处理 pipeline：可以在本地运行，也可以通过我们的 Hugging Face Space 在线运行。

• 下游技术栈示例：使用原生 LeRobot 进行训练，并通过 OpenArm 完成评估，供大家参考。

组件方面，我们使用的都是可以买到的标准传感器，没有封闭的 pipeline，也不会被锁定在某个 fork 上。其中包括 Raspberry Pi、标准 Pi camera、现成的 OAK-D depth camera，以及磁编码器。整个项目的核心理念，就是让任何人都能使用可以直接购买的零部件，自行组装一台 Grabette。

在设计上与机器人平台无关。无论是采集流程还是数据格式，都不依赖某一种特定机械臂。演示数据以相机局部坐标系中的 6-DoF 笛卡尔位姿与夹爪状态进行存储，最终输出为 Hugging Face Hub 上的标准 LeRobot 数据集，因此同一份数据可以用于不同的机器人和不同的学习方法。不过，你的机械臂上仍然需要安装与之匹配的 Gripette 夹爪。

从你的手到数据集，只需两步

这次发布让任何人都能快速地从“我想演示一项任务”走到“我拥有一套可用于训练的数据集”，而且不需要任何相关经验。

1. 按下按钮，录制数据

按下按钮后，观察相机、跟踪相机的彩色图像、深度数据与 IMU 数据，以及夹爪编码器的关节值会被同时记录。所有数据都使用同一个共享时钟，以确保正确同步。再次按下按钮即可结束这一 episode，数据会保存在 Raspberry Pi 本地。

2. 直接在浏览器中处理

在浏览器中打开 Grabette dashboard。选择要添加到数据集中的 episode，只需点击一下，后处理就会开始。

• episode 会被上传到 HF Hub。

• grabette-slam Space 使用 RTAB-MAP library 执行 SLAM，并检查轨迹是否正确，确保没有发生跳变或跟踪丢失。

• episode 会被转换为 LeRobot 格式。

• 一套新数据集会被上传到你的 Space，你可以使用 LeRobot visualizer 查看每个 episode 的数据。

现在，一切都已准备就绪，可以开始训练了！

这些数据能用来做什么？下面是一个示例

只有能够训练出东西，数据集才真正有意义。因此，为了完整展示端到端闭环，我们提供了一个完整示例。但需要明确的是，这只是 Grabette 所能支持的一种用法，并不是产品本身：本次发布的核心是录制系统。只要某种方法能够使用 LeRobot 数据集，你的 Grabette 数据就可以与它配合使用。

我们的示例使用了 200 段录制的演示，例如：

数据集可在这个 HF Dataset 中获取。

它使用 LeRobot 技术栈训练 policy——具体来说，是一个 Diffusion Policy，采用 ResNet18 + SpatialSoftmax encoder、DDIM scheduler 和 6-D rotation action，只需一张消费级 GPU 就能完成训练。

随后，我们在配备 Gripette 夹爪的 OpenArm 7-DoF 机械臂上对其进行评估，并通过 gRPC API 驱动机械臂，最终得到了相应结果。

Policy 可在这个 HF Model 中获取。

数据瓶颈无法靠一家实验室解决，它需要一个在世界各地录制演示的社区。现在，你也可以帮助建设这个数据集：组装一台 Grabette，录制你感兴趣的任务，然后在 Hub 上分享。每一个 episode 都会让开放数据集变得更大、更加多样；每一位贡献者，也都在让机器人学习少一点对昂贵硬件的依赖。

这次发布只是项目的起点！Grabette 还会继续演进。我们已经有更多产品正在开发，其中包括 Casquette：一款头戴式第一视角设备，用于补充 Grabette 的 egocentric capture 能力，目前仍在开发中。但接下来最重要的一步不只属于我们，也属于你们：开始录制，让我们一起建设这个数据集。

👉 组装 Grabette（GitHub）· 处理你的数据（HF Space）· 为数据集贡献数据

由 Pollen Robotics 用 ❤️ 打造。

本文提及的 Space：1 个

博客中的更多文章

• LeRobot 去上驾驶学校：全球最大的开源自动驾驶数据集

• NVIDIA 在 GTC 2025 面向 Physical AI 开发者的公告：全新的开放模型与数据集

@SteveNguyen @glannuzel，恭喜发布，我真的很期待自己组装一台。

不过，我在核对 BOM 时遇到了一个小问题：其中链接的 electronics repo 无法公开访问。

可以把 elec_grabette 设为公开吗？谢谢！

你好，Arita，感谢指出！它现在已经公开了：pollen-robotics/elec_grabette

· 注册或登录后发表评论

本文提及的 Space：1 个