描述
Octo 代表了一项持续的倡议，旨在开发开源的、广泛适用的通用机器人操作策略。Octo 的核心是一个基于 Transformer 的扩散策略，它在来自全面的 Open X-Embodiment 数据集的 800,000 个机器人片段上进行了精心预训练。这种广泛的预训练为 Octo 提供了理解和执行各种机器人任务的坚实基础。
阅读更多
Octo 的设计理念强调灵活性和可扩展性。它被设计用于支持各种常用的机器人、传感器配置和动作空间。这种通用且可扩展的架构允许在海量数据集上进行训练，从而得到一个高度适应性的模型。Octo 支持多种输入模态来指定任务，包括自然语言指令和目标图像。它还可以处理观察历史，并通过扩散解码生成多模态动作分布。
Octo 的一个关键优势在于其对高效微调的支持。这项能力允许策略能够快速适应新的机器人设置，包括那些具有不同动作空间或不同摄像头和本体感觉传感器组合的设置。这种设计选择使 Octo 成为一个多功能且广泛适用的通用机器人策略，适用于众多下游机器人应用和研究项目。
Octo 在 Open X-Embodiment 数据集的 25 个异构数据集的混合体上进行了训练，涵盖了各种机器人实体、场景和任务。这些数据集在机器人类型、传感器（例如，有或无腕部摄像头）和标签（例如，有或无语言指令）方面的异构性，有助于 Octo 强大的泛化能力。
Octo 的评估已在四个不同机构的九个真实机器人设置上进行。这些评估涵盖了各种物体交互、长任务周期和精确操作任务。Octo 在其预训练数据所处的环境中表现出强大的开箱即用性能，并且在通过小型目标领域数据集进行新任务和环境的高效微调方面表现出色。它还表现出对新观察（如力-扭矩输入）和新动作空间（如关节位置控制）的卓越适应性，使其成为先进机器人研究和开发的强大工具。
- 类别机器人与 AI 硬件
- 定价模式开源
- 部署云端
- 平台网页版
Octo Robot Policy亮点
基于 Transformer 的扩散策略架构
在 Open X-Embodiment 数据集的 800,000 个机器人片段上预训练
支持自然语言指令进行任务指定
支持目标图像条件化进行任务指定
支持观察历史
通过扩散解码生成多模态动作分布
专为高效微调到新的观察和动作空间而设计
提供两个版本：Octo-Small（2700 万参数）和 Octo-Base（9300 万参数）
在 4 个机构的 9 个真实机器人设置上进行了评估
在零样本语言条件化方面优于 RT-1-X
与 RT-2-X 性能相当
在 WidowX 任务上通过目标图像条件化实现了更高的性能
与从头开始训练或使用 VC-1 权重相比，表现出更优越的微调性能
Octo Robot Policy入门
访问模型：从提供的存储库获取 Octo 模型权重和代码。
设置环境：配置您的机器人仿真或硬件环境。
集成策略：加载 Octo 模型并定义您的观察和动作空间。
任务指定：通过自然语言或目标图像提供任务指令。
机器人控制：执行策略以控制机器人动作。
微调模型：使用目标演示来适应 Octo 以适应新任务或环境。
Octo Robot Policy的使用案例
- 通用机器人操作
- 任务特定微调
- 多模态任务指令
- 机器人研究平台
- 传感器配置适应
- 动作空间灵活性
