跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

RLDX-1

RLDX-1是RLWRLD为灵巧机器人手设计的基础模型。它能够处理诸如倒水、手中旋转和反应性抓取等任务,这些任务通常会让标准的视觉-语言-动作模型感到困扰。该模型将视觉、运动和触觉作为独立的流进行处理,并可在具有高自由度手的单臂、双臂和类人机器人上运行。

查看模型
分享
查看模型
分享

RLDX-1是RLWRLD为高自由度手设计的灵巧优先基础模型。它针对需要精细运动控制的任务,例如在容器变轻时倒饮料、手中旋转物体或抓取在传送带上移动的物体,这些情况下典型的视觉-语言-动作(VLA)模型由于未能接收到正确的信号而失败:手-物体几何、接触力和时机。

阅读更多

该模型使用RLWRLD称之为MSAT(多流动作变换器)的架构,为每种模态(视觉、运动、扭矩和触觉信号以及记忆)提供独立的处理流,而不是将所有内容强行通过一个变换器。这种结构旨在解决RLWRLD自有的DexBench基准中的五个能力领域:抓取多样性、空间精度、时间精度、接触精度和上下文意识。特定组件处理每个领域,包括用于空间推理的机器人专用视觉-语言模型、用于跟踪快速移动物体的运动模块、用于扭矩和触觉感知的物理模块,以及用于多步骤任务的记忆和恢复系统。

RLDX-1的训练数据包括合成机器人数据(大约从小型遥操作集扩展5倍)以及从裸手捕获并重新定向到机器人手的人工演示数据,每小时产生超过200个演示。训练分为三个阶段:针对不同体现的通用操作的预训练、针对包括ALLEX类人机器人和Franka Research 3臂的目标平台的中期训练,以及使用基于DAgger的恢复和进度感知强化学习的后期训练,RLWRLD报告称最终策略完成任务的速度比单纯模仿学习快约3倍。

RLDX-1以三个81亿参数的检查点发布,包括一个通用的预训练模型和两个针对ALLEX和DROID平台的中期训练版本,公共检查点在Hugging Face上,代码在GitHub上,技术报告在arXiv上。RLWRLD将其与包括GR00T N1.5/N1.6和pi-0系列的模型进行基准测试,并在OpenArm现实世界基准上报告通过静态图编译和操作融合实现的推理速度提升高达1.63倍。该模型旨在为从事灵巧操作的机器人研究人员和工业制造商服务,而非最终用户。

  • 类别机器人与 AI 硬件
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • 灵巧优先的高自由度机器人手基础模型

  • 每种模态都有独立流的多流动作变换器(MSAT)架构

  • 用于空间精度的机器人专用视觉-语言模型

  • 用于跟踪快速移动物体的运动模块

  • 用于扭矩和触觉接触感知的物理模块

  • 用于多步骤任务上下文的记忆和基于DAgger的恢复

  • 基于合成和人类重新定向的演示数据进行训练

  • 公共检查点在Hugging Face上,代码在GitHub上,技术报告在arXiv上

  • 适用于单臂、双臂和类人体现

  1. 阅读报告:查看RLWRLD在arXiv上的技术报告和结果。

  2. 获取检查点:从RLWRLD的Hugging Face集合中下载RLDX-1检查点。

  3. 获取代码:在GitHub上克隆RLDX-1代码库。

  4. 选择检查点:从RLDX-1-PT开始,或选择ALLEX或DROID的中期训练版本。

  5. 为您的体现进行微调:将模型适配到特定的机器人手或平台。

  6. 基准测试您的设置:将结果与RLWRLD发布的DexBench和OpenArm数据进行比较。

  • 精确操作
  • 工业灵巧性
  • 类人机器人研究
  • 动态物体处理

RLDX-1 评价

加载中...

与 RLDX-1 类似的热门AI工具

NVIDIA Isaac GR00T N1.7 是一个开放的基础模型,旨在用于类人机器人推理和技能。它处理多模态输入以执行操作任务,使开发人员能够针对不同环境中的特定应用进行后训练。

机器人与 AI 硬件
查看工具

NVIDIA Isaac GR00T N1.7 是一个开放的基础模型,旨在用于类人机器人推理和技能。它处理多模态输入以执行操作任务,使开发人员能够针对不同环境中的特定应用进行后训练。

精选机器人与 AI 硬件
查看 AI 模型 Top 5

NVIDIA Isaac GR00T 是一个用于类人机器人研究的倡议和开发平台。它提供了构建、训练和高效部署 AI 驱动机器人所需的基础技术,利用开放数据、仿真框架和 NVIDIA Jetson Thor 实现实时控制。

机器人与 AI 硬件

AI 模型 排名第 2 位

查看工具

用于类人机器人研究的倡议和开发平台。它提供了构建、训练和高效部署 AI 驱动机器人所需的基础技术,利用开放数据、仿真框架和 NVIDIA Jetson Thor 实现实时控制。NVIDIA Isaac GR00T 是一个用于类人机器人研究的倡议和开发平台。它提供了构建、训练和高效部署 AI 驱动机器人所需的基础技术,利用开放数据、仿真框架和 NVIDIA Jetson Thor 实现实时控制。

机器人与 AI 硬件
AI 模型 排名第 2 位

Octo 是一款开源的通用机器人策略,专为机器人操作的广泛应用而设计。这款基于 Transformer 的扩散策略在大型数据集上进行了预训练,支持灵活的任务定义和高效的微调以适应新的观察和动作空间,使其能够适应各种机器人应用。

机器人与 AI 硬件
查看工具

开源的通用机器人策略,专为机器人操作的广泛应用而设计。这款基于 Transformer 的扩散策略在大型数据集上进行了预训练,支持灵活的任务定义和高效的微调以适应新的观察和动作空间,使其能够适应各种机器人应用。Octo 是一款开源的通用机器人策略,专为机器人操作的广泛应用而设计。这款基于 Transformer 的扩散策略在大型数据集上进行了预训练,支持灵活的任务定义和高效的微调以适应新的观察和动作空间,使其能够适应各种机器人应用。

机器人与 AI 硬件
查看 AI 模型 Top 5

RoboCat

AI 模型

RoboCat 是一种可自我改进的机器人 AI 代理,可学习在不同机器人手臂上执行各种任务。它只需 100 次演示即可适应新任务,并生成自己的训练数据以提高性能,从而加速机器人研究。

机器人与 AI 硬件
查看工具

AI 模型

可自我改进的机器人 AI 代理,可学习在不同机器人手臂上执行各种任务。它只需 100 次演示即可适应新任务,并生成自己的训练数据以提高性能,从而加速机器人研究。RoboCat 是一种可自我改进的机器人 AI 代理,可学习在不同机器人手臂上执行各种任务。它只需 100 次演示即可适应新任务,并生成自己的训练数据以提高性能,从而加速机器人研究。

机器人与 AI 硬件
查看 AI 模型 Top 5

GalaxeaVLA

AI GitHub 仓库

GalaxeaVLA是Galaxea的开源代码库,支持G0.5,一个用于通用机器人控制的视觉-语言-动作模型。它打包了预训练的检查点、微调脚本和针对R1 Lite、R1 Pro、SO-100/101和DROID等平台的真实机器人部署代码。旨在为训练或在自己的硬件上部署操作策略的机器人研究人员和工程师提供支持。

机器人与 AI 硬件制造与工业
查看工具

AI GitHub 仓库

Galaxea的开源代码库,支持G0.5,一个用于通用机器人控制的视觉-语言-动作模型。它打包了预训练的检查点、微调脚本和针对R1 Lite、R1 Pro、SO-100/101和DROID等平台的真实机器人部署代码。旨在为训练或在自己的硬件上部署操作策略的机器人研究人员和工程师提供支持。GalaxeaVLA是Galaxea的开源代码库,支持G0.5,一个用于通用机器人控制的视觉-语言-动作模型。它打包了预训练的检查点、微调脚本和针对R1 Lite、R1 Pro、SO-100/101和DROID等平台的真实机器人部署代码。旨在为训练或在自己的硬件上部署操作策略的机器人研究人员和工程师提供支持。

机器人与 AI 硬件制造与工业
查看 AI GitHub 仓库 Top 250

MoveIt Pro 是一个生产级的物理人工智能平台,用于机器人操作,能够快速开发和部署先进的机器人臂应用,适用于各个行业。它提供了强大的运行时引擎、仿真工具和人工智能集成,能够实现高效和可定制的解决方案。

机器人与 AI 硬件制造与工业

AI 平台 排名第 146 位

查看工具

生产级的物理人工智能平台,用于机器人操作,能够快速开发和部署先进的机器人臂应用,适用于各个行业。它提供了强大的运行时引擎、仿真工具和人工智能集成,能够实现高效和可定制的解决方案。MoveIt Pro 是一个生产级的物理人工智能平台,用于机器人操作,能够快速开发和部署先进的机器人臂应用,适用于各个行业。它提供了强大的运行时引擎、仿真工具和人工智能集成,能够实现高效和可定制的解决方案。

机器人与 AI 硬件制造与工业
AI 平台 排名第 146 位

PaLM-E

AI 模型

PaLM-E 是一个具身多模态语言模型,它将真实的连续传感器数据与文本相结合。通过将语言与感知相联系,使机器人能够执行复杂任务,并在不同的训练领域和具身环境中展现出积极的迁移能力,以实现高级推理和规划。

AI 模型与大语言模型
查看工具

AI 模型

具身多模态语言模型,它将真实的连续传感器数据与文本相结合。通过将语言与感知相联系,使机器人能够执行复杂任务,并在不同的训练领域和具身环境中展现出积极的迁移能力,以实现高级推理和规划。PaLM-E 是一个具身多模态语言模型,它将真实的连续传感器数据与文本相结合。通过将语言与感知相联系,使机器人能够执行复杂任务,并在不同的训练领域和具身环境中展现出积极的迁移能力,以实现高级推理和规划。

AI 模型与大语言模型
查看 AI 模型 Top 5

物理智能,简称π,是一家机器人人工智能研究公司,致力于构建通用模型,使机器人能够学习和执行物理任务。其工程师、科学家和机器人专家发布了一系列视觉-语言-动作模型,从π0到π0.7,并在某些情况下公开了相关研究和权重。

机器人与 AI 硬件

机器人与 AI 硬件 排名第 4 位

查看工具

物理智能,简称π,是一家机器人人工智能研究公司,致力于构建通用模型,使机器人能够学习和执行物理任务。其工程师、科学家和机器人专家发布了一系列视觉-语言-动作模型,从π0到π0.7,并在某些情况下公开了相关研究和权重。

机器人与 AI 硬件
机器人与 AI 硬件 排名第 4 位
1/8