描述
RLDX-1是RLWRLD为高自由度手设计的灵巧优先基础模型。它针对需要精细运动控制的任务,例如在容器变轻时倒饮料、手中旋转物体或抓取在传送带上移动的物体,这些情况下典型的视觉-语言-动作(VLA)模型由于未能接收到正确的信号而失败:手-物体几何、接触力和时机。
阅读更多
该模型使用RLWRLD称之为MSAT(多流动作变换器)的架构,为每种模态(视觉、运动、扭矩和触觉信号以及记忆)提供独立的处理流,而不是将所有内容强行通过一个变换器。这种结构旨在解决RLWRLD自有的DexBench基准中的五个能力领域:抓取多样性、空间精度、时间精度、接触精度和上下文意识。特定组件处理每个领域,包括用于空间推理的机器人专用视觉-语言模型、用于跟踪快速移动物体的运动模块、用于扭矩和触觉感知的物理模块,以及用于多步骤任务的记忆和恢复系统。
RLDX-1的训练数据包括合成机器人数据(大约从小型遥操作集扩展5倍)以及从裸手捕获并重新定向到机器人手的人工演示数据,每小时产生超过200个演示。训练分为三个阶段:针对不同体现的通用操作的预训练、针对包括ALLEX类人机器人和Franka Research 3臂的目标平台的中期训练,以及使用基于DAgger的恢复和进度感知强化学习的后期训练,RLWRLD报告称最终策略完成任务的速度比单纯模仿学习快约3倍。
RLDX-1以三个81亿参数的检查点发布,包括一个通用的预训练模型和两个针对ALLEX和DROID平台的中期训练版本,公共检查点在Hugging Face上,代码在GitHub上,技术报告在arXiv上。RLWRLD将其与包括GR00T N1.5/N1.6和pi-0系列的模型进行基准测试,并在OpenArm现实世界基准上报告通过静态图编译和操作融合实现的推理速度提升高达1.63倍。该模型旨在为从事灵巧操作的机器人研究人员和工业制造商服务,而非最终用户。
- 类别机器人与 AI 硬件
- 定价模式开源
- 部署云端
- 平台网页版
RLDX-1亮点
灵巧优先的高自由度机器人手基础模型
每种模态都有独立流的多流动作变换器(MSAT)架构
用于空间精度的机器人专用视觉-语言模型
用于跟踪快速移动物体的运动模块
用于扭矩和触觉接触感知的物理模块
用于多步骤任务上下文的记忆和基于DAgger的恢复
基于合成和人类重新定向的演示数据进行训练
公共检查点在Hugging Face上,代码在GitHub上,技术报告在arXiv上
适用于单臂、双臂和类人体现
RLDX-1入门
阅读报告:查看RLWRLD在arXiv上的技术报告和结果。
获取检查点:从RLWRLD的Hugging Face集合中下载RLDX-1检查点。
获取代码:在GitHub上克隆RLDX-1代码库。
选择检查点:从RLDX-1-PT开始,或选择ALLEX或DROID的中期训练版本。
为您的体现进行微调:将模型适配到特定的机器人手或平台。
基准测试您的设置:将结果与RLWRLD发布的DexBench和OpenArm数据进行比较。
RLDX-1的使用案例
- 精确操作
- 工业灵巧性
- 类人机器人研究
- 动态物体处理




