LeRobot机器人库v0.5发布

LeRobot v0.5.0 增加了对 Unitree G1 人形机器人的完整支持（全身控制模型）、新策略——包括 Pi0-FAST 自回归 VLA 和实时分块（Real-Time Chunking）用于响应式推理——以及流式视频编码，消除了录制任务间的等待时间。该版本还引入了 EnvHub 用于从 Hugging Face Hub 加载仿真环境、NVIDIA IsaacLab-Arena 集成，以及包括 Python 3.12+、Transformers v5 和第三方策略插件的重大代码库现代化。

硬件：机器人类型前所未有地丰富

LeRobot v0.5.0 显著扩展了支持的硬件阵容——从机械臂和移动机器人到完整人形机器人。

该版本最大的硬件补充：全面的 Unitree G1 人形机器人支持。这是 LeRobot 的首次人形机器人集成，并且功能全面：

• 运动：在环境中行走、导航和移动。
• 操纵：执行灵巧的物体操纵任务。
• 远程遥操：通过直观的遥操界面远程控制 G1。
• 全身控制（WBC）：同时协调运动和操纵，用于复杂的现实任务。

G1 集成代表了 LeRobot 向通用机器人迈出的重要一步——从桌面机械臂进入全身具身 AI。你可以按照文档尝试使用它。

OpenArm & OpenArm Mini

我们已添加了对 OpenArm 机器人及其配套的 OpenArm Mini 遥操设备的支持。OpenArm 是一款能力强大的机械臂，具有完整的 LeRobot 集成，Mini 作为其天然的遥操设备。两者都支持双臂配置，可实现双臂设置以完成更复杂的操纵任务。详见文档。

硬件生态系统不断增长：

• Earth Rover：我们的首个移动机器人集成，将 LeRobot 扩展到室外导航和地面机器人领域。
• OMX Robot：一款新的机械臂，具有可配置的夹爪设置和校准支持。
• SO-100/SO-101 整合：我们将 SO-100 和 SO-101 的实现统一为单一、更简洁的代码库——包括双臂设置。代码重复更少，维护更容易，机器人一样优秀。

通过 CAN（控制器局域网）总线的新电机控制器支持，为更高性能的执行器敞开了大门：

• RobStride：基于 CAN 的电机控制器，用于高扭矩应用。
• Damiao：另一个 CAN 总线电机控制器，扩展了兼容硬件的范围。

这些补充意味着 LeRobot 现在可以驱动超越现有 Dynamixel 和 Feetech 生态系统的更多专业级执行器。

策略：不断增长的模型动物园

这个版本将六个新策略和技术引入 LeRobot，推动了开源机器人学习可能性的边界。

Pi0-FAST：自回归 VLA

Pi0-FAST 使用 FAST（频率空间动作序列标记化）将自回归视觉-语言-动作（Vision-Language-Action）模型引入 LeRobot。与 Pi0 的流匹配方法不同，Pi0-FAST 使用基于 Gemma 300M 的自回归动作专家，生成离散化的动作标记，实现：

• FAST 标记化：动作被标记以用于自回归解码，配备专用的 FAST 动作标记器。
• 灵活解码：可配置的温度和最大解码步数，用于平衡速度和质量。
• RTC 兼容：与实时分块（见下一节）配合使用，用于响应式推理。

lerobot-train \
  --policy.type=pi0_fast \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human \
  --policy.device=cuda

实时分块（RTC）

实时分块是来自 Physical Intelligence 的推理时技术，使流匹配策略的反应能力大幅提升。与等待完整动作块完成后才重新规划不同，RTC 持续将新预测与进行中的动作混合，产生更流畅和更灵敏的行为。

RTC 不是一个独立的策略——它是一个增强功能，可以插入现有的流匹配策略中（Pi0 系列、SmolVLA 和扩散）。通过 --policy.rtc_config.enabled=true 配置。

对于延迟至关重要的现实部署，这是一个游戏规则改变者。阅读原始论文了解技术细节和我们的文档。

Wall-X

Wall-X 是一个新的 VLA 策略，基于 Qwen2.5-VL 和流匹配动作预测。它将 Qwen2.5-VL 强大的视觉-语言理解能力与用于跨具身机器人控制的流匹配头相结合。

pip install lerobot[wall_x]
lerobot-train \
  --policy.type=wall_x \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human

X-VLA

X-VLA 为 LeRobot 带来了基于 Florence2 的 VLA。建立在微软 Florence-2 视觉-语言模型之上，X-VLA 为 VLA 策略提供了另一个骨干网络，扩展了机器人学习可用的基础模型的多样性。查看训练指南了解设置说明和基础模型。

pip install lerobot[xvla]
lerobot-train \
  --policy.type=xvla \
  --dataset.repo_id=lerobot/bimanual-so100-handover-cube

SARM

SARM（阶段感知奖励建模）解决了机器人学习中最难的问题之一：长视界任务。它不使用单一的全局线性进度信号覆盖整个任务，而是通过预测任务阶段和该阶段内的进度，以阶段感知的方式建模进度。这使得为复杂的多步操纵任务训练策略变得容易得多。按照文档开始实验吧。

PEFT 支持

你现在可以使用 LoRA（和其他 PEFT 方法）微调大型 VLA，而无需修改核心训练管道。PEFT 配置位于策略级别，使得用计算成本的一小部分将巨大的基础模型适配到你的特定机器人和任务变得简单直接。阅读文档了解更多。

lerobot-train \
  --policy.type=pi0 \
  --policy.peft_config.use_peft=true \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human

数据集：更快的录制，更快的训练

数据集管道在这个版本中获得了重大性能改进，使数据收集和训练都显著加快。

流式视频编码

之前，录制数据集意味着在每个任务后等待视频编码完成。现在不用了。通过流式视频编码，帧在被捕获时实时编码——意味着任务之间的等待时间为零。只需完成一个任务，立即开始下一个。

流式编码还支持硬件编码器自动检测，所以如果你的系统拥有 GPU 加速视频编码器，LeRobot 会自动使用它：

dataset = LeRobotDataset.create(
    repo_id="my/dataset",
    fps=30,
    video_backend="auto",       # Auto-detect best HW encoder
    streaming_encoding=True,    # Encode in real-time
)

流式编码的性能可能因你的硬件和录制设置（摄像头数量、分辨率等）而差异很大。在启用它之前，请务必查看流式视频编码文档。

图像训练快 10 倍，编码快 3 倍

在引擎盖下，我们修复了关键的数据访问瓶颈并彻底改进了图像处理：

• 图像训练快 10 倍：改进的图像转换支持和修复的数据访问瓶颈，这些瓶颈之前在无声地减慢训练速度。
• 编码快 3 倍：并行编码现在是所有平台的默认设置，具有动态压缩级别，可根据你的数据集类型（视频 vs. 图像）进行自适应，不使用流式编码时。
• 更好的 CPU 利用：在录制和数据集创建期间资源使用更高效。

数据集编辑工具包持续增长：

• 子任务支持：为任务内的子任务进行标注和查询，用于分层任务学习。
• 图像到视频转换：将现有的基于图像的数据集转换为视频格式以提高存储效率，支持多个任务每个视频文件。
• 更多编辑操作：新的 info 操作用于检查数据集，任务修改工具，以及对现有操作（分割、合并、特征编辑）的众多修复。
• 公开更多选项：可配置的视频编码、容差设置和元数据缓冲区大小，用于对数据集创建的精细控制。

EnvHub：来自 Hub 的环境

EnvHub 是在 LeRobot 中使用仿真环境的一种新方式：直接从 Hugging Face Hub 加载它们。与其本地安装环境包并进行连接注册不同，你现在可以将 LeRobot 指向一个 Hub 存储库，它处理一切——下载环境代码、将其注册到 Gymnasium，并使其可用于训练和评估。

Hub 环境使用 HubEnvConfig，它下载并执行远程 make_env 函数：

lerobot-train \
  --env.type=hub \
  --env.hub_path="username/my-custom-env" \
  --policy.type=act

这降低了与社区共享自定义仿真环境的门槛。打包你的环境，推送到 Hub，任何人都可以在其上训练。查看文档了解更多。这是一个入门示例：LeIsaac x LeRobot EnvHub 教程。

NVIDIA IsaacLab-Arena

我们已集成了 NVIDIA IsaacLab-Arena，为 LeRobot 带来了 GPU 加速仿真。IsaacLab-Arena 在 NVIDIA 的 Isaac Sim 上提供了一系列操纵任务，为快速强化学习提供了大规模并行环境实例。该集成包括专用的预/后处理步骤和与 LeRobot 训练管道的完整兼容性。查看文档。

代码库：现代化基础

这个版本实现了代码库的现代化：

• Python 3.12+：LeRobot 现在要求 Python 3.12 作为最低版本，支持现代语法和更好的性能。
• Transformers v5：我们已迁移到 Hugging Face Transformers v5，与最新的模型生态系统保持同步。
• 第三方策略插件：就像 v0.4.0 的硬件插件系统一样，你现在可以将自定义策略注册为可安装包——pip install lerobot_policy_mypolicy 并使用 --policy.type=mypolicy 使用它。无需核心库更改。按照文档学习如何做。
• 远程 Rerun 可视化：使用 Rerun 远程可视化你的机器人遥测，通过压缩图像支持实现带宽高效流传输。
• 安装改进：添加了 uv 安装说明，澄清了设置步骤，改进了依赖管理。顺序安装步骤现在有清晰的文档。
• 文档版本化：文档现在已版本化，所以你总能找到与你的已安装版本相匹配的文档。
• PyTorch 版本提升：更新了 PyTorch 版本界限以支持 NVIDIA Blackwell GPU。

社区与生态

• 现代化的 Discord：使用更好的频道组织更新了最活跃的社区中心。
• GitHub README、模板和自动标签：刷新的 README、新的问题和 PR 模板、贡献指南和自动票证标签——使每个人更容易贡献。
• ICLR 2026 论文接收：LeRobot 论文已被 ICLR 2026 接收！
• LeRobot 可视化工具刷新：可视化工具进行了刷新，新增了数据集可视化徽章和改进的功能。查看一下！
• LeRobot 标注工作室：一个 HuggingFace Space，旨在轻松用自然语言子任务标注数据集的每一刻。查看一下！

除了这些头条功能，v0.5.0 还包括数百个错误修复、文档改进、CI/CD 增强以及整个代码库的生活质量改进。从更好的类型检查到更强大的测试基础设施，我们正在投资于使 LeRobot 在扩展时可靠和可维护的基础。

我们要向社区中的每一个人——贡献者、用户和合作者——致以衷心的感谢，感谢你们帮助 LeRobot 成长为今天的样子。每个错误报告、PR 和讨论都使这个项目更好。

敬请期待更多精彩内容🤗 从这里开始！——LeRobot 团队 ❤️

有一个大惊喜即将到来，敬请期待！👕

本文提到的模型 2

本文提到的 Spaces 1

本文提到的论文 1

本文提到的合集 1

来自我们博客的更多文章

Grabette：记录机器人操纵数据的开放系统

LeRobot v0.6.0：想象、评估、改进

·登录或注册来评论

本文提到的模型 2

本文提到的 Spaces 1

本文提到的论文 1

本文提到的合集 1