LingBot-Touch 开源跨传感器触觉表征

蚂蚁灵波在 11 月 10 日宣布开源 LingBot-Touch，试图解决机器人精细操作中的一个缺口：看见物体，不代表知道手指有没有抓稳。它把不同触觉传感器的信号转成统一表征，再交给动作模型使用。

这次值得关注的有两点：26 项真机测试给出了成功率提升的数据，跨硬件实验则展示了触觉经验复用的可能。不过，复用仍需要适配动作模型，也不能仅凭参数量小就判断部署成本低。

为什么看清瓶盖，还不一定拧得开

视觉能帮助机器人找到瓶盖、把手指伸到正确位置，但接触之后，问题变了。

瓶盖开始转动，可能是螺纹已经松动，也可能只是指腹沿着盖壁打滑。画面看起来相近，下一步动作却不同。接触位置、受力大小、是否滑移，恰好又容易被手指和物体遮挡。

LingBot-Touch 要补的就是这部分信息。它不是直接负责拧瓶盖的动作策略，而是位于触觉传感器和动作模型之间的感知模块，让动作模型获得更容易利用的接触特征。

装上传感器只是拿到了信号，动作模型能否理解信号，还需要单独解决。

统一触觉 Token，解决的是什么复用问题

不同触觉硬件输出的数据并不相同。磁触觉、视触觉、压阻式各有自己的传感原理，触点布局也可能不同。如果动作模型只熟悉其中一种信号，更换灵巧手后，原来的触觉经验可能就用不上了。

LingBot-Touch 基于近 5000 小时真实触觉数据预训练，采用分开处理、统一表达的路径：

先按传感原理设置不同编码入口，处理原始信号；再把不同布局的触点映射到统一的指尖坐标空间；最后由共享模型学习接触位置、受力及其随时间的变化，输出统一的触觉 Token。

这里的 Token，可以理解为动作模型接收的接触特征表示。硬件信号各不相同，但经过处理后，下游模型能够使用同一套表示。

这也让人戴触觉手套和遥操作灵巧手采集的数据能够共同参与训练。

跨硬件实验是这条路线的重要证据。XHand 使用的磁触觉传感器型号没有出现在预训练数据中，相关磁触觉经验全部来自人戴手套采集的数据。迁移到 XHand 时，团队保持 LingBot-Touch 参数不变，只用 XHand 的操作示范训练动作模型。

这里要分清边界：触觉模型不需要更新，不代表整套机器人系统无需训练就能直接使用。

成功率提升有多大，轻量版又有多轻

团队在 Sharpa Wave 和 XHand 两款灵巧手上进行了 26 项真机测试，任务包括翻书页、拧瓶盖、辨识麻将牌。

接入 LingBot-Touch 后，LingBot-VLA、π0.5、Diffusion Policy 和 T-Rex 四种动作模型的平均任务成功率，相比无触觉时提高约 14 至 26 个百分点。这里是「百分点」，不是相对增长百分比。

最具体的一组对照，来自 T-Rex 控制 Sharpa Wave 拧瓶盖的任务：

• 不使用触觉时，成功率为 56.25%。
• 直接输入传感器原始信号时，成功率为 62.5%。
• 使用 LingBot-Touch 触觉表征时，成功率达到 90%。

这组结果支持的判断是：在该实验设置下，经过学习的触觉表征，比直接输入原始信号更有效。

全部 26 项真机测试使用的都是轻量版 LingBot-Touch-Tiny，参数量约 530 万。接入 LingBot-VLA、π0.5 和 T-Rex 后，模型参数量仅增加约 0.13% 至 0.16%；原文没有给出 Diffusion Policy 对应的增加比例。

更大的 LingBot-Touch-Small 则在感知测试中显示，当预训练数据增至近 5000 小时时，新增数据仍能带来收益。但这不是 Small 在上述真机任务中优于 Tiny 的对照结果。

我的判断

我更看重它对传感器与动作策略之间接口的处理。与直接把原始信号交给动作模型相比，统一表征有机会减少每次更换硬件时的重复学习；四种动作模型的测试，也让它的价值不只停留在自研 LingBot-VLA 上。

不过，证据还需要按范围理解。这是团队报告的实验结果，原文没有交代各任务重复次数、统计波动、完整训练配置，也没有提供独立复现结果。90% 是特定瓶盖任务的成绩，不能推广到所有精细操作。

跨硬件复用同样有前提：XHand 的传感器型号虽然未见过，磁触觉这种传感原理已经参与预训练，动作模型也接受了 XHand 示范训练。因此，它支持跨型号迁移的潜力，还不足以证明任意新硬件都能直接接入。

此外，参数增幅小不等于推理延迟、显存和功耗都低。原文没有给出这些部署指标，也没有说明开源许可证、权重获取及接入接口，实际采用前仍需核实。

能拿来做什么

• 做机器人精细操作时，可以把无触觉、原始触觉信号、预训练触觉表征作为三组基线，检查收益究竟来自增加了信息，还是来自更好的信息表示。
• 需要更换灵巧手时，可以参考 XHand 的实验路径，尝试冻结触觉模型、用新硬件示范训练动作模型，同时记录仍需补采的数据和适配工作。
• 评估端侧部署时，可以先把经过真机测试的 Tiny 作为候选，再测目标设备上的延迟、内存和控制频率，避免仅凭 530 万参数做决定。