Описание
RLDX-1 — это модель с акцентом на ловкость от RLWRLD для роботов с манипуляторами с высокой степенью свободы. Она нацелена на задачи, требующие тонкого моторного контроля, такие как наливание напитка по мере уменьшения веса контейнера, вращение объекта в руке или захват движущегося предмета на конвейере, случаи, в которых типичные модели визуально-языкового действия (VLA) терпят неудачу, потому что им никогда не давали правильные сигналы: геометрия руки и объекта, сила контакта и временные параметры.
Читать далее
Модель использует архитектуру, которую RLWRLD называет MSAT (Многофункциональный Трансформер Действий), которая предоставляет каждой модальности — зрению, движению, крутящему моменту и тактильным сигналам, а также памяти — свой собственный поток обработки, вместо того чтобы заставлять все проходить через один трансформер. Эта структура была создана для решения пяти режимов возможностей по собственному бенчмарку RLWRLD DexBench: разнообразие захватов, пространственная точность, временная точность, точность контакта и осведомленность о контексте. Специфические компоненты обрабатывают каждый режим, включая специализированную для роботов модель визуально-языкового взаимодействия для пространственного рассуждения, Модуль Движения для отслеживания быстро движущихся объектов, Модуль Физики для определения крутящего момента и тактильных ощущений, а также систему памяти и восстановления для многопроцессных задач.
RLDX-1 обучается на синтетических данных роботов (масштабированных примерно в 5 раз от небольшого набора телеприсутствия) и данных демонстрации, полученных от голых человеческих рук и перенаправленных на роботизированные руки, что дает более 200 демонстраций в час. Обучение проходит через три этапа: предварительное обучение для общей манипуляции по всем воплощениям, среднее обучение на целевых платформах, включая гуманоид ALLEX и руку Franka Research 3, и постобучение, которое использует основанное на DAgger восстановление и обучение с учетом прогресса, что, по сообщениям RLWRLD, позволяет финальной политике выполнять задачи примерно в 3 раза быстрее, чем только обучение подражанию.
RLDX-1 поставляется в виде трех контрольных точек с 8,1 миллиарда параметров, общей предварительно обученной модели и двух среднеобученных версий для платформ ALLEX и DROID, с публичными контрольными точками на Hugging Face, кодом на GitHub и техническим отчетом на arXiv. RLWRLD проводит бенчмаркинг по сравнению с моделями, включая GR00T N1.5/N1.6 и семейством pi-0 в симуляции, а также на реальном бенчмарке OpenArm, и сообщает о ускорении вывода до 1,63 раза благодаря компиляции статической графики и слиянию операторов. Модель ориентирована на исследователей в области робототехники и промышленных производителей, работающих над ловкой манипуляцией, а не на конечных пользователей.
- КатегорияРобототехника и AI-оборудование
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о RLDX-1
Модель с акцентом на ловкость для роботизированных рук с высокой степенью свободы
Архитектура Многофункционального Трансформера Действий (MSAT) с отдельным потоком для каждой модальности
Специализированная для роботов модель визуально-языкового взаимодействия для пространственной точности
Модуль Движения для отслеживания быстро движущихся объектов
Модуль Физики для определения крутящего момента и тактильных ощущений
Память и восстановление на основе DAgger для многопроцессного контекста задач
Обучение на синтетических и перенаправленных данных демонстрации от человека
Публичные контрольные точки на Hugging Face, код на GitHub и технический отчет на arXiv
Работает на одноруких, двуруких и гуманоидных воплощениях
Начало работы с RLDX-1
Прочитайте отчет: Ознакомьтесь с техническим отчетом RLWRLD и результатами на arXiv.
Получите контрольные точки: Скачайте контрольные точки RLDX-1 из коллекции RLWRLD на Hugging Face.
Получите код: Клонируйте репозиторий RLDX-1 на GitHub.
Выберите контрольную точку: Начните с RLDX-1-PT или среднеобученных версий ALLEX или DROID.
Настройте под ваше воплощение: Адаптируйте модель под конкретную роботизированную руку или платформу.
Проведите бенчмаркинг вашей настройки: Сравните результаты с опубликованными данными RLWRLD по DexBench и OpenArm.
Варианты использования RLDX-1
- Точная манипуляция
- Промышленная ловкость
- Исследования гуманоидных роботов
- Обработка динамических объектов
