RoboCat

Octo Robot Policy

AI モデル

ロボット操作における幅広い適用性を目指して設計されたオープンソースの汎用ロボットポリシーです。このTransformerベースの拡散ポリシーは、大規模データセットで事前学習されており、柔軟なタスク定義と効率的なファインチューニングをサポートし、様々なロボティクスアプリケーションへの適応を可能にします。Octoは、ロボット操作における幅広い適用性を目指して設計されたオープンソースの汎用ロボットポリシーです。このTransformerベースの拡散ポリシーは、大規模データセットで事前学習されており、柔軟なタスク定義と効率的なファインチューニングをサポートし、様々なロボティクスアプリケーションへの適応を可能にします。

Isaac GR00T N1.7

AI モデル

NVIDIA アイザック GR00T N1.7 は、人型ロボットの推論とスキルのために設計されたオープンな基盤モデルです。マルチモーダル入力を処理して操作タスクを実行し、開発者が特定のアプリケーションに向けてモデルをポストトレーニングできるようにします。

Gato Generalist Agent

AI モデル

Google DeepMindが開発した単一の汎用AIエージェントです。Atariゲームのプレイ、画像へのキャプション付け、チャット、実際のロボットアームの制御など、幅広いタスクを実行できます。このマルチモーダルエージェントは、Transformerニューラルネットワークを使用して多様なデータ入力を処理し、適切な出力を生成します。Gatoは、Google DeepMindが開発した単一の汎用AIエージェントです。Atariゲームのプレイ、画像へのキャプション付け、チャット、実際のロボットアームの制御など、幅広いタスクを実行できます。このマルチモーダルエージェントは、Transformerニューラルネットワークを使用して多様なデータ入力を処理し、適切な出力を生成します。

Flamingo

AI モデル

Google DeepMindが開発した単一のビジュアル言語モデル（VLM）であり、多様なマルチモーダルタスクにおける少数の例からの学習（few-shot learning）に優れています。画像、動画、テキストが混在した入力を処理し、関連する言語出力を生成します。追加のトレーニングなしで、タスク固有の例を最小限で済ませることができます。Flamingoは、Google DeepMindが開発した単一のビジュアル言語モデル（VLM）であり、多様なマルチモーダルタスクにおける少数の例からの学習（few-shot learning）に優れています。画像、動画、テキストが混在した入力を処理し、関連する言語出力を生成します。追加のトレーニングなしで、タスク固有の例を最小限で済ませることができます。

PaLM-E

AI モデル

実世界の連続的なセンサーデータをテキストと統合する、具現化されたマルチモーダル言語モデルです。これにより、ロボットは言語を知覚に結びつけることで複雑なタスクを実行できるようになり、高度な推論と計画のために多様なトレーニングドメインと具現化にわたるポジティブな転移を示します。PaLM-Eは、実世界の連続的なセンサーデータをテキストと統合する、具現化されたマルチモーダル言語モデルです。これにより、ロボットは言語を知覚に結びつけることで複雑なタスクを実行できるようになり、高度な推論と計画のために多様なトレーニングドメインと具現化にわたるポジティブな転移を示します。

OpenAdapt

AI GitHub リポジトリ

#185

独立した外部チェックが実際に効果があったことを確認したときのみ成功を報告するプログラムに、実証されたGUIタスクをコンパイルするためのオープンソースフレームワークです。これは、画面上でクリックしただけではなく、実際のアプリケーションで検証された実行が必要なコンピュータ使用エージェントを対象としています。OpenAdaptは、独立した外部チェックが実際に効果があったことを確認したときのみ成功を報告するプログラムに、実証されたGUIタスクをコンパイルするためのオープンソースフレームワークです。これは、画面上でクリックしただけではなく、実際のアプリケーションで検証された実行が必要なコンピュータ使用エージェントを対象としています。

フィジカルインテリジェンス、通称πは、ロボティクスAI研究会社であり、ロボットが物理的なタスクを学び、実行できる汎用モデルを構築しています。エンジニア、科学者、ロボティシストからなるチームは、π0からπ0.7までのビジョン・言語・アクションモデルの連続シリーズを発表し、それに関連する研究や場合によってはオープンウェイトも公開しています。

Plan2Explore

AI GitHub リポジトリ

効率的な探索と新しいタスクへの迅速な適応を目指して設計された自己教師あり強化学習エージェントです。探索中に将来の新規性を予測するために計画を活用し、下流タスクにおけるゼロショットまたはフューショット学習を可能にします。挑戦的な制御タスクで評価され、既存の手法を上回る性能を示しました。Plan2Exploreは、効率的な探索と新しいタスクへの迅速な適応を目指して設計された自己教師あり強化学習エージェントです。探索中に将来の新規性を予測するために計画を活用し、下流タスクにおけるゼロショットまたはフューショット学習を可能にします。挑戦的な制御タスクで評価され、既存の手法を上回る性能を示しました。