Octo Robot Policy

Философия дизайна Octo подчеркивает как гибкость, так и масштабируемость. Она разработана для поддержки различных часто используемых роботов, конфигураций датчиков и пространств действий. Эта универсальная и масштабируемая архитектура позволяет обучать модель на огромных наборах данных, что приводит к созданию высокоадаптивной модели. Octo поддерживает несколько входных модальностей для определения задач, включая инструкции на естественном языке и целевые изображения. Она также может обрабатывать истории наблюдений и генерировать многомодальные распределения действий посредством диффузионного декодирования.

Ключевым преимуществом Octo является поддержка эффективного дообучения. Эта возможность позволяет быстро адаптировать политику к новым конфигурациям роботов, в том числе с различными пространствами действий или разнообразными комбинациями камер и проприоцептивных датчиков. Такой выбор дизайна делает Octo универсальной и широко применимой обобщенной робототехнической политикой, подходящей для многочисленных последующих робототехнических приложений и исследовательских проектов.

Octo обучается на разнообразной смеси из 25 наборов данных из Open X-Embodiment Dataset, охватывающих широкий спектр воплощений роботов, сцен и задач. Гетерогенность этих наборов данных с точки зрения типов роботов, датчиков (например, с наручными камерами или без них) и меток (например, с инструкциями на естественном языке или без них) способствует надежным возможностям обобщения Octo.

Оценки Octo проводились на девяти реальных роботизированных установках в четырех различных учреждениях. Эти оценки охватывают разнообразные взаимодействия с объектами, длительные горизонты задач и точные манипуляционные задачи. Octo демонстрирует высокую производительность «из коробки» в средах из данных предварительного обучения и превосходно справляется с эффективным дообучением для новых задач и сред с небольшими наборами данных целевой области. Она также демонстрирует замечательную адаптивность к новым наблюдениям, таким как входные данные силы-момента, и новым пространствам действий, таким как управление положением суставов, что делает ее мощным инструментом для передовых робототехнических исследований и разработок.