説明
DiffusionGemmaは、Google DeepMindによって開発された生成モデルで、26B A4B Mixture-of-Experts (MoE) Gemma 4アーキテクチャを活用しています。テキスト、画像、動画を含むマルチモーダル入力からテキスト出力を生成するように設計されています。このモデルは、トークン生成速度を向上させるために離散拡散を採用しており、多様なハードウェア環境での展開に適しています。
続きを読む
モデルのアーキテクチャは、ブロック自己回帰型マルチキャンバスサンプリング手法を特徴としており、トークンのブロックを並行してデノイズすることでデコーディング速度を大幅に向上させます。このアプローチにより、DiffusionGemmaは従来の自己回帰モデルと比較して、より高速にテキストを生成することができます。エンコーダ-デコーダアーキテクチャは、プロンプトコンテキストを処理しキャッシュするために自己回帰型エンコーダを使用し、デコーダは生成キャンバス上で双方向注意を適用します。
DiffusionGemmaのスパースMoE設計は、128のアクティブエキスパートのうち8つを使用しており、強力な推論能力を提供しながら低いメモリフットプリントを維持します。この効率性により、ローカル実行に適しており、小さなバッチサイズの推論に最適化されており、単一の能力のあるアクセラレータ上で高速生成を実現します。
このモデルは、構造化された制御可能な会話を可能にするネイティブシステムプロンプトの更新をサポートしています。また、強化された推論能力のための構成可能な思考モードも含まれています。最大256Kトークンのコンテキストウィンドウを持つDiffusionGemmaは、長いコンテキストタスクを効果的に処理できます。
DiffusionGemmaは、さまざまなベンチマークに対して評価されており、テキスト生成および推論タスクにおいて競争力のあるパフォーマンスを示しています。140以上の言語で事前トレーニングされており、多言語機能をサポートし、オブジェクト検出、文書解析、動画コンテンツ分析などの堅牢な画像および動画理解機能を提供します。
全体として、DiffusionGemmaは、高速でマルチモーダルなテキスト生成を目的とした多用途なモデルであり、コンテンツ作成、研究、教育などの幅広いアプリケーションに適しています。
- カテゴリーAIモデルとLLM
- 料金モデルOpen Weights
- デプロイクラウド
- プラットフォームWeb
DiffusionGemmaのハイライト
離散テキスト拡散
マルチモーダル入力処理
エンコーダ-デコーダアーキテクチャ
Mixture-of-Expertsの効率性
思考モード
小さなバッチサイズの推論に最適化
ネイティブシステムプロンプトサポート
長いコンテキスト処理
DiffusionGemmaをはじめる
モデルページにアクセス: Hugging Faceモデルページを訪問
認証: ログインまたはアカウントを作成
設定: モデルパラメータを設定
プロンプトを送信: テキスト、画像、または動画のプロンプトを入力
ファインチューニング: 特定のタスクに合わせて設定を調整
DiffusionGemmaの使用例
- テキスト生成
- 画像データ抽出
- 動画理解
- 多言語サポート
- 研究と教育










