Gen-1.5 机器人基础模型：一次 3-12 秒演示即可学会新任务

Generalist AI 发布了 GEN-1.5，这是一款机器人基础模型，能从单次演示中学习新的物理任务。只需将 3–12 秒的传感器运动数据投入其 30 秒上下文窗口，机器人就能执行该任务。无需梯度更新、无需微调、无需任务特定编程。在 10 项多样化操作任务中，这种一次样本上下文提示从预训练模型直接出发平均达到 59% 成功率（±10% 标准差）。每任务 5 分钟数据做十步梯度更新后，这一数字提升至 83%（±9%）。Generalist 将这一机制称为物理提示（physical prompting），并明确表示它从未为此训练过：没有架构改动、没有元学习循环、没有辅助目标。它是从超过八个月的连续物理交互数据预训练中涌现出来的。任务简单且时域较短，公司也坦率承认这一点。但这是该团队所知首个在大规模上涌现物理技能一次样本学习的模型。

尚不可用——这是一个研究发布。没有公开权重、没有 API、没有定价页面，也没有自助产品。Generalist AI 在自己的集群和数据引擎上运行 GEN-1.5。任何想要使用它的人目前只能通过直接合作的方式。

GEN-1.5 是一个大型多模态模型，接收视频、传感器、语言和本体感知输入，拥有 30 秒记忆，以 100 Hz 频率输出动作轨迹。它在家庭、仓库和工厂中捕获的物理交互数据上连续预训练超过八个月。

主要机制是物理提示。一个传感器运动示例——传感器流加动作轨迹——通过拖放界面插入 30 秒上下文窗口。窗口的其余部分持有滚动观测。模型随后立即执行任务，零梯度步、零微调。

关键在于，这一切都不是设计出来的。Generalist 声明没有任何架构改动来促进上下文学习、没有元学习循环、也没有鼓励即兴发挥的辅助目标。这种能力涌现自预训练规模，就像一次样本提示在 GPT-3 中涌现一样。

在 10 项多样化任务中，一次样本上下文提示从预训练模型直接出发平均达到 59% 成功率（±10% 标准差），完全不涉及任何训练。每任务 5 分钟数据做十步梯度更新——约 50 次演示——将这一数字提升至 83%（±9%）。在极端情况下，一分钟数据的一步梯度更新在保留任务上达到了 66.5%，且没有进行任何针对适应性的超参数搜索。

算力故事才是有趣的部分。传统上适应机器人策略通常需要数万步梯度更新。这里十步对保留任务的模型权重改变不到 0.15%，这表明微调是在重新配置模型已有的知识，而非构建新的表征。Generalist 将其表述为极低数据 regime 下的测试时训练。

三个值得了解的迁移结果

组合泛化：将两条独立记录的提示放入上下文，可以链接成一种连续行为。模型产生了在任一演示中都没有出现的衔接动作——重新定位、重新抓取、错误恢复。

零样本 sim-to-real：完全在仿真中记录的演示可以作为真实机器人的提示，尽管预训练中不包含任何仿真数据——既没有渲染视频也没有仿真动力学。对于某些任务，演示不再需要物理采集。

人形机器人模仿：在某些情况下，人类用自己的双手在机器人摄像头视野中演示，模型用机器人的双手复现它。

轻量微调后也表现出泛化能力。在 5 分钟的刷方块进碗的数据上训练后，模型用香蕉作为临时刷子，并使用簸箕来抬起和倾倒方块——完全不同的接触序列。它还移除了盖在碗上的纸张，当演示使用单手时它也能双手操作。

交互式讲解器

GEN-1.5 能从放入其 30 秒上下文窗口的单个 3–12 秒演示中学习新的操作任务。

一次样本上下文提示在 10 项任务中达到 59%；5 分钟数据 10 步梯度更新达到 83%。

一次样本、sim-to-real 和人形机器人迁移均从预训练中涌现——没有任何一项是显式训练的。

十步梯度更新使权重改变不到 0.15%，将每任务适应算力压缩了几个数量级。

无权重、无 API、无产品：将其视为关于 scaling 的研究信号，而非可部署系统。

查看 GEN-1.5 研究帖子和 @GeneralistAI 公告线程。欢迎查看我们的 GitHub 页面获取教程、代码和笔记本。

也欢迎关注我们的 Twitter，别忘了加入我们 15 万+的 ML SubReddit 并订阅我们的通讯。等一下！你用 telegram 吗？现在你也可以加入我们了。

需要与我们合作推广你的 GitHub 仓库或 Hugging Face 页面或产品发布或网络研讨会等？请与我们联系。

Asif Razzaq 是 Marktechpost Media Inc. 的 CEO。作为一位有远见的企业家和工程师，Asif 致力于将人工智能的潜力用于社会公益。他最近的创业项目是推出一个人工智能媒体平台 Marktechpost，该平台以深入报道机器学习和深度学习新闻著称，内容既有技术深度又易于广泛读者理解。该平台月浏览量超过 200 万次，展示了其在受众中的受欢迎程度。