メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

TaskMatrix

TaskMatrixは、会話中に画像を送受信できるようにChatGPTを視覚基盤モデルに接続する、"Visual ChatGPT"論文で発表されたアプローチに基づくオープンソースのGitHubプロジェクトです。ユーザーは平易な言葉で編集内容を説明し、GroundingDINO、Segment Anything、Stable Diffusionなどのモデルが画像の要求された部分を特定、マスク、編集します。

リポジトリを見る
共有
リポジトリを見る
共有

TaskMatrixはGitHubでホストされているオープンソースプロジェクトで、MicrosoftのGitHub組織の下にミラーがあります。これは、"Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models"という論文で発表されたアプローチの現在の名称であり、その系譜を引き継いでいます:メインスクリプトはvisual_chatgpt.pyと名付けられ、公式のHugging Faceデモスペースは"visual_chatgpt"というタイトルです。コアアイデアは変わっていません:ChatGPTのような会話モデルを、テキストだけでなく画像を送受信できるようにするために、特化した視覚基盤モデルのセットに接続します。

続きを読む

コアの洞察は、労働の分業です。ChatGPTや他の大規模言語モデルは、平易な言葉でリクエストを理解する一般的なインターフェースとして機能し、別の基盤モデルは特定の視覚タスクのドメイン専門家として機能します。例えば、物体を検出したり、セグメント化したり、領域をインペイントしたりします。TaskMatrixは、テンプレートシステムを用いてこれを形式化します:テンプレートは、ChatGPTが複数の基盤モデルを連鎖させて、単一のモデルでは処理できないより複雑なタスクを完了させるための事前定義された実行フローです。InfinityOutPaintingテンプレートはその一例で、画像キャプショニングモデル、インペイントモデル、視覚質問応答モデルを組み合わせて、ユーザーが特定のサイズに画像を拡張するように要求し、追加のトレーニングなしでアウトペイントされた結果を得ることができます。

実際には、一般的なワークフローはテキストガイドの画像編集です:ユーザーが"画像内のxxxを見つけて"または"画像内のxxxをセグメント化して"と言うと、TaskMatrixはGroundingDINOを使用してテキスト記述によって物体を特定し、Segment Anythingを使用して正確なマスクを生成し、Stable Diffusionインペインティングを使用してそのマスクされた領域のみを編集します。このプロジェクトは、中国語の会話もサポートしています。

TaskMatrixは、何もインストールせずにHugging Face SpacesデモやGoogle Colabノートブックを通じて試すことができます。ローカルで実行するには、リポジトリをクローンし、Python環境を作成し、リストされた基盤モデルをインストールし、ChatGPT側のためにOpenAI APIキーを提供する必要があります。ユーザーがロードする基盤モデルは構成可能で、各モデルは異なるGPUメモリフットプリントを持ち、専用のGPUメモリを必要としない軽量モデルから、数ギガバイトを必要とする画像生成モデルまで様々です。このプロジェクトは、完成した消費者アプリを求めるエンドユーザーではなく、マルチモデルの会話型画像編集を試みる開発者や研究者を対象としています。

  • カテゴリーコンピュータービジョンツール
  • 料金モデルオープンソース
  • デプロイセルフホスト, クラウド
  • プラットフォームWeb

  • 接続された視覚基盤モデルを介してChatGPTの会話内で画像を送受信

  • GroundingDINOとSegment Anythingを使用したテキストガイドの物体検出とセグメンテーション

  • 要求された画像の部分のみを編集するためのStable Diffusionによるマスクベースのインペインティング

  • 追加のトレーニングなしで画像を大きなサイズに拡張するInfinityOutPaintingテンプレート

  • 複数の基盤モデルを1つの再利用可能なタスクフローに連鎖させるためのテンプレートシステム

  • 英語に加えて中国語の会話サポート

  • ローカルインストールなしでHugging Face SpacesデモまたはGoogle Colabノートブックを通じて実行可能

  • タスクに必要な基盤モデルのみが特定のデバイスで実行されるように構成可能なモデルロード

  1. デモを試す:Hugging Face SpaceまたはColabノートブックを開いて、TaskMatrixをインストールせずにテストする

  2. ローカルにセットアップ:リポジトリをクローンし、Python環境を作成し、リストされた要件をインストールする

  3. APIキーを追加:システムのChatGPT側のためにOpenAI APIキーを提供する

  4. 必要なモデルをロード:--loadフラグを使用してアプリを起動し、実行する基盤モデルとデバイスを指定する

  5. チャットと編集:画像リクエストを説明するか、"xxxを見つけて"または"xxxをセグメント化して"と言って、アップロードされた画像内の物体を検出して編集する

  • 会話型画像編集
  • 画像アウトペインティング
  • マルチモデル研究プロトタイピング

Microsoft の製品

TaskMatrix のレビュー

読み込み中...

TaskMatrix に似た人気のAIツール

Dify

AI GitHub リポジトリ

Difyは、LLMアプリケーション開発のためのオープンソースプラットフォームです。AIワークフロー、RAGパイプライン、エージェント機能を構築するためのビジュアルキャンバスを提供します。包括的なモデルサポートとLLMOps機能により、開発者は迅速なプロトタイピングと本番環境へのデプロイを実現できます。

AI エージェントビルダー

AI GitHub リポジトリで第11位

ツールを見る

AI GitHub リポジトリ

LLMアプリケーション開発のためのオープンソースプラットフォームです。AIワークフロー、RAGパイプライン、エージェント機能を構築するためのビジュアルキャンバスを提供します。包括的なモデルサポートとLLMOps機能により、開発者は迅速なプロトタイピングと本番環境へのデプロイを実現できます。Difyは、LLMアプリケーション開発のためのオープンソースプラットフォームです。AIワークフロー、RAGパイプライン、エージェント機能を構築するためのビジュアルキャンバスを提供します。包括的なモデルサポートとLLMOps機能により、開発者は迅速なプロトタイピングと本番環境へのデプロイを実現できます。

注目AI エージェントビルダー
AI GitHub リポジトリで第11位

Perception Encoder

AI GitHub リポジトリ

Perception Encoderは、Facebook Researchによって開発された最先端のAIツールです。画像および動画のCLIPモデルとマルチモーダル大規模言語モデルに特化しており、視覚データとテキストデータの処理と理解において高度な機能を提供します。

コンピュータービジョンツール
ツールを見る

AI GitHub リポジトリ

Facebook Researchによって開発された最先端のAIツールです。画像および動画のCLIPモデルとマルチモーダル大規模言語モデルに特化しており、視覚データとテキストデータの処理と理解において高度な機能を提供します。Perception Encoderは、Facebook Researchによって開発された最先端のAIツールです。画像および動画のCLIPモデルとマルチモーダル大規模言語モデルに特化しており、視覚データとテキストデータの処理と理解において高度な機能を提供します。

コンピュータービジョンツール
AI GitHub リポジトリ トップ250を見る

GitHub - microsoft/JARVIS

AI GitHub リポジトリ

Microsoftが開発したJARVISは、大規模言語モデル(LLM)を機械学習(ML)コミュニティに接続します。人工汎用知能(AGI)を探求するために設計されており、Hugging Face HubのエキスパートモデルとLLMを統合します。JARVISは、ユーザーのリクエストに基づいてタスクを自動化し、応答を生成します。

AI エージェントビルダー
ツールを見る

AI GitHub リポジトリ

Microsoftが開発したJARVISは、大規模言語モデル(LLM)を機械学習(ML)コミュニティに接続します。人工汎用知能(AGI)を探求するために設計されており、Hugging Face HubのエキスパートモデルとLLMを統合します。JARVISは、ユーザーのリクエストに基づいてタスクを自動化し、応答を生成します。

AI エージェントビルダー
AI GitHub リポジトリ トップ250を見る

LLaVA

AI GitHub リポジトリ

LLaVAは、大規模言語とビジョン機能を組み合わせたビジュアル指示チューニングモデルです。GPT-4Vレベルのパフォーマンスを目指し、マルチモーダルな理解とインタラクションを可能にします。このプロジェクトは、研究者や開発者向けにコード、モデル、リソースを提供します。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

大規模言語とビジョン機能を組み合わせたビジュアル指示チューニングモデルです。GPT-4Vレベルのパフォーマンスを目指し、マルチモーダルな理解とインタラクションを可能にします。このプロジェクトは、研究者や開発者向けにコード、モデル、リソースを提供します。LLaVAは、大規模言語とビジョン機能を組み合わせたビジュアル指示チューニングモデルです。GPT-4Vレベルのパフォーマンスを目指し、マルチモーダルな理解とインタラクションを可能にします。このプロジェクトは、研究者や開発者向けにコード、モデル、リソースを提供します。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

MiniGPT-4 & MiniGPT-v2

AI GitHub リポジトリ

MiniGPT-4およびMiniGPT-v2のオープンソースコード。これらは、ビジョンと言語の理解を強化する高度な大規模言語モデルです。これらのモデルは、ビジョンと言語のタスクにおけるマルチタスク学習を可能にし、画像理解と生成の機能を提供します。Llama 2およびVicunaモデルを基盤としており、研究者や開発者向けの強力なツールを提供します。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

MiniGPT-4およびMiniGPT-v2のオープンソースコード。これらは、ビジョンと言語の理解を強化する高度な大規模言語モデルです。これらのモデルは、ビジョンと言語のタスクにおけるマルチタスク学習を可能にし、画像理解と生成の機能を提供します。Llama 2およびVicunaモデルを基盤としており、研究者や開発者向けの強力なツールを提供します。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

Pocket Flow

AI GitHub リポジトリ

Pocket Flowは、迅速な開発のために設計されたミニマリストな100行LLMフレームワークです。AIエージェントが他のエージェントを構築することを可能にし、ワークフロー、RAG、マルチエージェントシステムのような複雑なAIアプリケーション向けの依存関係ゼロ、軽量なソリューションを提供します。

AI エージェントビルダー

AI GitHub リポジトリで第139位

ツールを見る

AI GitHub リポジトリ

迅速な開発のために設計されたミニマリストな100行LLMフレームワークです。AIエージェントが他のエージェントを構築することを可能にし、ワークフロー、RAG、マルチエージェントシステムのような複雑なAIアプリケーション向けの依存関係ゼロ、軽量なソリューションを提供します。Pocket Flowは、迅速な開発のために設計されたミニマリストな100行LLMフレームワークです。AIエージェントが他のエージェントを構築することを可能にし、ワークフロー、RAG、マルチエージェントシステムのような複雑なAIアプリケーション向けの依存関係ゼロ、軽量なソリューションを提供します。

AI エージェントビルダー
AI GitHub リポジトリで第139位

LobeHub

AI GitHub リポジトリ

LobeHubは、メンテナーによって「チーフエージェントオペレーター」と説明されるオープンソースプロジェクトで、複数のAIエージェントを単発のチャットではなく、継続的な操作に整理します。ユーザーは、10,000以上のスキルとMCP互換のプラグインのライブラリを使用してエージェントを構築し、共同作業のためにグループ化し、システム全体を自己ホストできます。このリ…

AIチャットボット

AI GitHub リポジトリで第54位

ツールを見る

AI GitHub リポジトリ

メンテナーによって「チーフエージェントオペレーター」と説明されるオープンソースプロジェクトで、複数のAIエージェントを単発のチャットではなく、継続的な操作に整理します。ユーザーは、10,000以上のスキルとMCP互換のプラグインのライブラリを使用してエージェントを構築し、共同作業のためにグループ化し、システム全体を自己ホストできます。このリ…LobeHubは、メンテナーによって「チーフエージェントオペレーター」と説明されるオープンソースプロジェクトで、複数のAIエージェントを単発のチャットではなく、継続的な操作に整理します。ユーザーは、10,000以上のスキルとMCP互換のプラグインのライブラリを使用してエージェントを構築し、共同作業のためにグループ化し、システム全体を自己ホストできます。このリ…

AIチャットボット
AI GitHub リポジトリで第54位

Visionati

AI アプリ

Visionatiは、OpenAI、Claude、Geminiなどの複数のAIモデルを同時に使用して画像を説明するための統合APIを提供します。さまざまなモデルからの説明、タグ、検出結果を比較して、包括的な視覚的洞察を抽出します。高度な画像分析機能を求める開発者や企業に最適です。

コンピュータービジョンツール
ツールを見る

AI アプリ

OpenAI、Claude、Geminiなどの複数のAIモデルを同時に使用して画像を説明するための統合APIを提供します。さまざまなモデルからの説明、タグ、検出結果を比較して、包括的な視覚的洞察を抽出します。高度な画像分析機能を求める開発者や企業に最適です。Visionatiは、OpenAI、Claude、Geminiなどの複数のAIモデルを同時に使用して画像を説明するための統合APIを提供します。さまざまなモデルからの説明、タグ、検出結果を比較して、包括的な視覚的洞察を抽出します。高度な画像分析機能を求める開発者や企業に最適です。

コンピュータービジョンツール
AI アプリ トップ250を見る
1 / 8