GroundingPI 用纯感知训练探索机器人底座
小鹏与高校团队发布约 40 亿参数的 GroundingPI,使用无动作标签的感知数据训练,覆盖检测、定位、文字识别等 11 类能力。团队报告其在 34 项感知基准综合评测及机器人仿真中表现突出,但模型仍处于科研原型阶段。
AI 深度解读
GroundingPI 想验证一件事:机器人要把动作做对,先得把目标找准。小鹏联合北京大学、香港大学等团队发布的这项研究,用约 40 亿参数的模型专攻视觉感知,在指定评测中取得了超过 GPT-6 Astra 的综合分数。
更有实际价值的是后续仿真结果:更好的感知底座,可能减少机器人学习新任务所需的人工示教。不过,感知跑分领先、仿真任务有效,距离真实工位可靠运行,还有需要补齐的证据。
超过 GPT-6 Astra,具体比的是什么
据原文介绍,研究团队在同一套 34 项公开感知基准上比较 GroundingPI 与 GPT-6 Astra,再按 11 类能力等权平均。GroundingPI 得分 73.68,Astra 得分 71.54,前者高出 2.14 分。官方称,GroundingPI 在该综合评测中位列第一。
这里比较的是感知能力,不能直接推导出机器人操作、代码生成或通用推理能力的高低。
11 类能力中,原文列出了通用检测、密集小目标、指代定位、文字识别、文档版面、界面元素和机器人空间定位等方向,没有完整列出全部类别。等权平均也只是其中一种汇总方式,各类别在真实任务中的重要程度未必相同。
这组分数支持的是指定感知评测中的领先,不能扩大成通用能力的全面领先。
原文没有给出逐项成绩、评测配置和结果波动,暂时无法判断优势主要集中在哪些能力上。
为什么先学「物体在哪」,再接机器人动作
GroundingPI 的技术路线叫「感知优先」。它在训练阶段不使用带关节动作标签的机器人数据,全部采用无动作标签的纯感知数据,先学习目标是什么、位于画面的什么位置。
无动作标签不等于没有监督信息。原文只交代了数据不带机器人动作标签,没有展开感知标注的具体形式。
例如,要求模型找到「右边那个杯子的把手」,回答「图里有杯子」并不够。模型需要用点或边界框,把语言描述对应到具体图像区域。Grounding 指的就是这种视觉定位能力,PI 是 Physical Intelligence,即物理智能的缩写。
这条路线的理由很直接:如果视觉模块连目标都找错了,后面的动作策略就会拿着错误信息做决策。作者希望先把定位能力练好,再让它承担传统 VLA 模型中的部分感知工作。VLA 指视觉、语言、动作模型,它需要把看到的画面、接到的指令和执行的动作联系起来。
但感知底座不等于完整机器人系统。GroundingPI 的预训练不使用动作标签,也不代表下游机器人无需动作学习。
少用示教数据的证据,目前来自仿真
原文给出了两类仿真结果。
第一类是示教数据效率。以 GroundingPI 为视觉底座的系统,仅使用 50% 示教数据,成功率就超过对比模型使用 75% 数据时的表现。研究团队的解释是,视觉底座已经承担了学习「物体在哪」的工作,下游策略可以减少这部分学习负担。
这个结果有吸引力,但不能直接读成实际部署必然节省某个比例的人工成本。原文没有给出示教总条数、具体成功率、对比模型名称,以及采集和训练的成本明细。
第二类是环境变化下的泛化。团队报告,系统在材质、物体品类、容器和背景变化时,仍能保持稳定表现;在仿真的散料分拣、料箱清点等高密度场景中,可以分类抓取同类工件,并对应物品形态。
这些结果为「一套权重跨工位复用」提供了实验支持,但目前项目仍处于科研原型阶段。原文没有提供真实工位的长期运行数据。
我的判断
我认同把目标定位单独拿出来强化。对于需要操作具体物体的系统,「知道画面里有什么」与「准确指出要操作哪里」,确实是两种不同要求。
相比直接让 VLA 同时学习感知和动作,这条路线把一部分学习任务提前交给感知预训练。如果感知能力能够跨任务复用,下游就有机会少依赖昂贵的机器人示教数据。
但优势取决于前提:感知输出是否足够准确、下游策略能否有效利用,以及预训练覆盖的视觉变化是否接近实际环境。原文的仿真结果支持继续探索,还不足以证明它普遍优于其他方案。
对普通团队而言,也不能照着约 40 亿参数就估算部署门槛。原文没有交代推理延迟、显存需求和硬件条件。关于真实部署降本,目前更适合视为有实验依据的方向判断。
能拿来做什么
- 做界面视觉定位时,可以借鉴它的验收方式:要求模型返回目标点或边界框,检查语言描述能否对应到正确区域。原文包含界面元素感知,但没有证明它已经具备完整浏览器操作能力。
- 如果正在做机器人原型,可以把感知底座与动作策略分开评估,并在相同任务、相同数据预算下比较成功率,确认收益是否来自定位能力。
- 设计视觉任务测试集时,可以加入背景、容器、材质和物体品类变化,检查模型是否只适应固定画面。看综合分数之外,也要保留逐类结果。