설명
RLDX-1은 고자유도 손을 가진 로봇을 위한 RLWRLD의 정교함을 우선시하는 기초 모델입니다. 이 모델은 용기가 가벼워질 때 음료를 따르거나, 손 안에서 물체를 회전시키거나, 컨베이어에서 움직이는 물체를 잡는 등 미세한 운동 제어가 필요한 작업을 목표로 합니다. 이러한 경우는 일반적인 비전-언어-행동(VLA) 모델이 실패하는데, 이는 손-물체 기하학, 접촉력 및 타이밍과 같은 올바른 신호를 제공받지 못했기 때문입니다.
더 읽기
이 모델은 RLWRLD가 MSAT(다중 스트림 액션 변환기)라고 부르는 아키텍처를 사용하여, 비전, 동작, 토크 및 촉각 신호, 메모리 등 각 모달리티에 대해 별도의 처리 스트림을 제공합니다. 이 구조는 RLWRLD의 자체 DexBench 벤치마크에서 다섯 가지 능력 체계를 해결하기 위해 구축되었습니다: 잡기 다양성, 공간 정밀도, 시간 정밀도, 접촉 정밀도 및 맥락 인식. 특정 구성 요소는 각 체계를 처리하며, 공간 추론을 위한 로봇 전문 비전-언어 모델, 빠르게 움직이는 물체를 추적하기 위한 동작 모듈, 토크 및 촉각 감지를 위한 물리 모듈, 다단계 작업을 위한 메모리 및 복구 시스템이 포함됩니다.
RLDX-1은 합성 로봇 데이터(소규모 원격 조작 세트에서 약 5배 확장됨)와 맨손에서 캡처한 인간 시연 데이터를 기반으로 훈련되며, 로봇 손에 재타겟팅되어 시간당 200개 이상의 시연을 생성합니다. 훈련은 세 단계로 진행됩니다: 다양한 구현을 위한 일반 조작을 위한 사전 훈련, ALLEX 인간형 및 Franka Research 3 팔을 포함한 목표 플랫폼에 대한 중간 훈련, DAgger 기반 복구 및 진행 인식 강화 학습을 사용하는 후 훈련으로, RLWRLD는 최종 정책이 단순 모방 학습보다 약 3배 빠르게 작업을 완료할 수 있도록 한다고 보고합니다.
RLDX-1은 세 개의 81억 매개변수 체크포인트로 제공되며, 일반 사전 훈련 모델과 ALLEX 및 DROID 플랫폼을 위한 두 개의 중간 훈련 버전이 포함되어 있으며, Hugging Face에서 공개 체크포인트, GitHub에서 코드, arXiv에서 기술 보고서를 제공합니다. RLWRLD는 이를 GR00T N1.5/N1.6 및 pi-0 계열 모델과 시뮬레이션에서 벤치마킹하고 OpenArm 실제 세계 벤치마크에서 최대 1.63배의 추론 속도 향상을 보고합니다. 이는 정교한 조작 작업을 수행하는 로봇 연구자 및 산업 제조업체를 대상으로 하며 최종 사용자에게는 제공되지 않습니다.
- 카테고리로보틱스 및 AI 하드웨어
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
RLDX-1 하이라이트
고자유도 로봇 손을 위한 정교함 우선 기초 모델
모달리티별로 별도의 스트림을 가진 다중 스트림 액션 변환기(MSAT) 아키텍처
공간 정밀도를 위한 로봇 전문 비전-언어 모델
빠르게 움직이는 물체를 추적하기 위한 동작 모듈
토크 및 촉각 접촉 감지를 위한 물리 모듈
다단계 작업 맥락을 위한 메모리 및 DAgger 기반 복구
합성 및 인간 재타겟팅 시연 데이터로 훈련됨
Hugging Face에서 공개 체크포인트, GitHub에서 코드, arXiv에서 기술 보고서
단일 팔, 이중 팔 및 인간형 구현에서 작동
RLDX-1 시작하기
보고서 읽기: arXiv에서 RLWRLD의 기술 보고서 및 결과를 검토합니다.
체크포인트 받기: RLWRLD의 Hugging Face 컬렉션에서 RLDX-1 체크포인트를 다운로드합니다.
코드 받기: GitHub에서 RLDX-1 리포지토리를 클론합니다.
체크포인트 선택: RLDX-1-PT 또는 ALLEX 또는 DROID 중간 훈련 버전에서 시작합니다.
구현에 맞게 미세 조정: 특정 로봇 손이나 플랫폼에 모델을 조정합니다.
설정 벤치마킹: RLWRLD의 공개된 DexBench 및 OpenArm 수치와 결과를 비교합니다.
RLDX-1의 사용 사례
- 정밀 조작
- 산업 정교함
- 인간형 로봇 연구
- 동적 물체 처리
