メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

Linum P-JiT

AI アプリAIモデルとLLMオープンソース · Web

Linum P-JiTは、生成ビデオモデルに焦点を当てた2人の研究者による研究所Linumが開発した実験的な2Bパラメータのテキストから画像へのモデルです。この概念実証モデルは、新しいPyramid-JiTアーキテクチャを示し、約21Kドルという大幅に削減されたトレーニングコストで高品質な画像生成を実現しています。これは、アニメーションのためのより効率的でアクセスしやすいクリエイティブツールへの一歩を表しています。

URLを訪問
共有
Linum P-JiT のスクリーンショット
Linum P-JiT のスクリーンショット

Linum P-JiTは、生成ビデオモデルのトレーニングに専念する2人の研究者による研究所Linumが開発した実験的なテキストから画像へのモデルです。この特定のモデル、2BパラメータのPyramid-JiT(P-JiT)は、コスト効率が高く制御可能な生成ツールを通じてアニメーションへのアクセスを民主化するための進行中の研究の概念実証として機能します。このモデルのトレーニングランは約21,038ドルのコストがかかり、比較的低い計算コストで高品質な結果を得る可能性を示しています。

続きを読む

P-JiTの背後にある核心的な革新は、従来の変分オートエンコーダ(VAE)を拡散モデルアーキテクチャから排除することで、より積極的な圧縮と迅速な学習を実現する能力です。代わりに、拡散モデルはその使用ケースに特化した潜在空間を学習し、より大きな圧縮と改善された生成を可能にします。このピクセル空間モデルは、Linum v2よりも11倍少ないサンプルで収束し、256x256画像に以前使用されていたのと同じトークン数で512x512画像を表現する4倍のトークン削減を提供します。これは、注意コンテキストウィンドウの4分の1の削減に相当し、トレーニングと推論コストを大幅に削減します。

P-JiTアーキテクチャは、テキストと画像処理パイプラインを組み込み、各モダリティが単一モダリティの「リファイナ」DiTブロックを通過した後、22の同一のDiTブロックのストリームに統合されます。テキスト表現は、凍結されたQwen3.5-4Bモデルから導出され、画像は32x32のパッチに分割され、1024次元の空間に圧縮されます。このモデルは、DINOv3-Lに整列したPixelREPAリードアウトを特徴とし、最終画像の低解像度バージョンを予測することで収束を加速します。

トレーニングは、610百万サンプルの512x512解像度から始まり、次に50百万サンプルの1024x1024解像度に移行する複数の段階で実施されました。ノイズスケジュールに沿ったカリキュラムが採用され、最初は高ノイズに集中して基本構造を学び、その後、詳細な部分のために分布を広げました。トレーニング後は、JEV-Imageと人間の判断者を用いた有限差分フロー最適化(FDFO)の変種が使用されました。モデルは有望な結果を示していますが、特に全身生成、複数のエンティティ、複数人の相互作用、世界知識に関して制限があります。これは、同サイズのモデルに共通の問題です。また、レンダリングされたテキストの画像でトレーニングされていないため、テキストやポスターを生成することはできません。

  • カテゴリーAIモデルとLLM
  • 料金モデルオープンソース
  • デプロイクラウド
  • プラットフォームWeb

  • Pyramid-JiT(P-JiT)アーキテクチャ:効率的な生成のための新しいピクセル空間モデル

  • 2BパラメータDiT:コアの拡散トランスフォーマーモデルサイズ

  • 4Bテキストエンコーダー:テキスト表現のために凍結されたQwen3.5-4Bモデルを利用

  • VAEフリー設計:より積極的な圧縮と迅速な学習のためにVAEを排除

  • 4倍のトークン削減:Linum v2よりも4倍少ないトークンで512x512画像を表現

  • 11倍の迅速な収束:大幅に少ないトレーニングサンプルで結果を達成

  • マルチステージトレーニング:512x512から1024x1024解像度に進行

  • カリキュラムノイズスケジュール:構造と詳細学習のためにノイズ分布を適応

  • PixelREPAリードアウト:改善された詳細学習のために潜在空間をDINOv3-Lに整列

  • 線形リードアウトヘッド:収束を加速するために四分の一および半解像度でクリーンな画像を予測

  • 有限差分フロー最適化(FDFO):トレーニング後の洗練に利用

  • Apache 2.0ライセンス:重みはオープンソースライセンスの下で公開

  • コスト効率の良いトレーニング:約21Kドルで高品質な結果を達成

  • 生成ビデオ研究への焦点:将来のビデオモデルへの一歩

  1. アーキテクチャを理解する:P-JiTアーキテクチャの詳細を確認し、テキストと画像処理の流れを理解します。

  2. トレーニングレジームを調べる:マルチステージトレーニングプロセス、ノイズスケジュール、および解像度の遷移について学びます。

  3. モデルの制限を探る:全身生成、複数のエンティティ、テキスト生成に関する現在の制限を理解します。

  4. トレーニング設定にアクセスする:詳細なトレーニングパラメータと構成については付録Aを参照してください。

  5. コストの内訳を確認する:トレーニング前後の計算コストの内訳を確認します。

  6. 例の失敗を分析する:モデルの失敗の例を研究し、現在の能力と改善の余地を把握します。

  • テキストから画像生成の研究
  • コスト効率の良いモデルトレーニング
  • 生成ビデオモデルの開発
  • アーキテクチャの革新テスト
  • オープンソースAI実験

Linum P-JiT のレビュー

読み込み中...

Linum P-JiT に似た人気のAIツール

Wan 2.2

AI アプリ

アリババのTongyi LabによるオープンソースのMixture-of-Expertsビデオ生成モデルで、テキストからビデオ、画像からビデオの作成を720pまで行い、映画的なコントロールとダウンロード可能なモデルウェイトを提供します。

AI動画生成ツールメディア・エンターテインメント

AI動画生成ツールで第194位

ツールを見る

AI アプリ

アリババのTongyi LabによるオープンソースのMixture-of-Expertsビデオ生成モデルで、テキストからビデオ、画像からビデオの作成を720pまで行い、映画的なコントロールとダウンロード可能なモデルウェイトを提供します。

AI動画生成ツールメディア・エンターテインメント
AI動画生成ツールで第194位

生成的AIクラウドは、画像、動画、音声の制作のために500以上のモデルへのアクセスを提供します。統一されたAPI、低コスト、迅速でスムーズなクリエイティブワークフローのためのゼロ日モデルアクセスを提供します。

機械学習プラットフォームメディア・エンターテインメント
ツールを見る

画像、動画、音声の制作のために500以上のモデルへのアクセスを提供します。統一されたAPI、低コスト、迅速でスムーズなクリエイティブワークフローのためのゼロ日モデルアクセスを提供します。生成的AIクラウドは、画像、動画、音声の制作のために500以上のモデルへのアクセスを提供します。統一されたAPI、低コスト、迅速でスムーズなクリエイティブワークフローのためのゼロ日モデルアクセスを提供します。

機械学習プラットフォームメディア・エンターテインメント
AI アプリ トップ250を見る

HunyuanImage 3.0は、画像生成のために設計された強力なネイティブマルチモーダルモデルです。テキストから画像、画像から画像へのタスクの両方に優れた能力を発揮し、創造的な編集やインテリジェントなプロンプトの強化に向けた高度な機能を提供します。

AIモデルとLLM
ツールを見る

画像生成のために設計された強力なネイティブマルチモーダルモデルです。テキストから画像、画像から画像へのタスクの両方に優れた能力を発揮し、創造的な編集やインテリジェントなプロンプトの強化に向けた高度な機能を提供します。HunyuanImage 3.0は、画像生成のために設計された強力なネイティブマルチモーダルモデルです。テキストから画像、画像から画像へのタスクの両方に優れた能力を発揮し、創造的な編集やインテリジェントなプロンプトの強化に向けた高度な機能を提供します。

注目AIモデルとLLM
AI モデル トップ5を見る

FluxPictureは、多様な画像スタイルとフォトリアルな結果を実現するFLUX AIを搭載した無料のAI画像・動画ジェネレーターを提供します。また、高品質な画像生成のためのKreaと動画生成のためのWan 2.2も含まれており、ユーザーはテキストプロンプトから魅力的なビジュアルを作成できます。

AI画像生成ツール
ツールを見る

多様な画像スタイルとフォトリアルな結果を実現するFLUX AIを搭載した無料のAI画像・動画ジェネレーターを提供します。また、高品質な画像生成のためのKreaと動画生成のためのWan 2.2も含まれており、ユーザーはテキストプロンプトから魅力的なビジュアルを作成できます。FluxPictureは、多様な画像スタイルとフォトリアルな結果を実現するFLUX AIを搭載した無料のAI画像・動画ジェネレーターを提供します。また、高品質な画像生成のためのKreaと動画生成のためのWan 2.2も含まれており、ユーザーはテキストプロンプトから魅力的なビジュアルを作成できます。

AI画像生成ツール
AI アプリ トップ250を見る

Imgex.ai

AI アプリ

Imgex.aiは、テキストから画像、リファレンス編集、画像から動画まで、さまざまなモデルを使用してビジュアルを生成、編集、アニメーション化するAI画像および動画スタジオです。すべての作業はクレジットベースのワークスペース内で行われます。

AI画像生成ツールメディア・エンターテインメント
ツールを見る

AI アプリ

テキストから画像、リファレンス編集、画像から動画まで、さまざまなモデルを使用してビジュアルを生成、編集、アニメーション化するAI画像および動画スタジオです。すべての作業はクレジットベースのワークスペース内で行われます。Imgex.aiは、テキストから画像、リファレンス編集、画像から動画まで、さまざまなモデルを使用してビジュアルを生成、編集、アニメーション化するAI画像および動画スタジオです。すべての作業はクレジットベースのワークスペース内で行われます。

AI画像生成ツールメディア・エンターテインメント
AI アプリ トップ250を見る

Yolly AI

AI アプリ

Yolly AIは、テキスト、画像、または既存のビデオから、音声付きのシネマグレードの4Kビデオと高解像度画像を生成するオールインワンプラットフォームです。

AI動画生成ツールメディア・エンターテインメント

AI動画生成ツールで第225位

ツールを見る

AI アプリ

テキスト、画像、または既存のビデオから、音声付きのシネマグレードの4Kビデオと高解像度画像を生成するオールインワンプラットフォームです。Yolly AIは、テキスト、画像、または既存のビデオから、音声付きのシネマグレードの4Kビデオと高解像度画像を生成するオールインワンプラットフォームです。

AI動画生成ツールメディア・エンターテインメント
AI動画生成ツールで第225位

Vidofy

AI アプリ

500以上のAIモデル(Veo、Runway、Kling、Seedanceなど)を使用して、プロンプトから動画、画像、音声を生成するオールインワンAIスタジオで、1つのアカウントで共有クレジットを利用できます。

AI動画生成ツールメディア・エンターテインメント

アニメーションの作成で第129位

ツールを見る

AI アプリ

500以上のAIモデル(Veo、Runway、Kling、Seedanceなど)を使用して、プロンプトから動画、画像、音声を生成するオールインワンAIスタジオで、1つのアカウントで共有クレジットを利用できます。

AI動画生成ツールメディア・エンターテインメント
アニメーションの作成で第129位

Flux Lora

AI アプリ

Flux Loraは、画像生成、モデル比較、管理されたLoRAトレーニングに特化した独立したプラットフォームです。画像および動画モデル用の汎用AIスタジオを提供し、専用のワークフローとキュレーションされたモデルライブラリの計画があります。

AI画像生成ツール
ツールを見る

AI アプリ

画像生成、モデル比較、管理されたLoRAトレーニングに特化した独立したプラットフォームです。画像および動画モデル用の汎用AIスタジオを提供し、専用のワークフローとキュレーションされたモデルライブラリの計画があります。Flux Loraは、画像生成、モデル比較、管理されたLoRAトレーニングに特化した独立したプラットフォームです。画像および動画モデル用の汎用AIスタジオを提供し、専用のワークフローとキュレーションされたモデルライブラリの計画があります。

AI画像生成ツール
AI アプリ トップ250を見る
1 / 8