Reka 发布 Rho-1：统一处理文本/图像/视频/机器人控制的 19B 多模态模型

Reka AI 发布了 Rho-1 的研究预览版。这个拥有 190 亿参数的全模态模型，在单个神经网络中处理并生成文本、图片、视频和机器人控制动作。与大多数将任务路由到专用模型的 AI 系统不同，Rho-1 将所有模态作为 token 在一个共享上下文窗口中运行，无需工具调用或外部模型。该模型能实时生成连续视频，并能即时响应新指令而无需重启。

预测摄像头图像的权重同时也能驱动机器人动作。为解决机器人训练数据稀缺的问题，Reka AI 构建了一个逆动力学模型，从普通互联网视频中提取控制信号。Rho-1 在约 320 块 H100 GPU 上训练了大约三个月。

Reka AI 在多模态 AI 领域并非新手。2024 年 4 月，该公司发布了 Reka Core，这是一款多模态语言模型，在基准测试中与 GPT-4、Claude 3 和 Gemini Ultra 展开竞争。这次发布符合 AI 研究向所谓"世界模型"发展的更广泛趋势。

无炒作的 AI 新闻——人工筛选

订阅 THE DECODER，享受无广告阅读、每周 AI 通讯、每年六期的独家"AI Radar"前沿报告、完整档案访问权限，以及评论区访问权限。