説明
ERNIE-5.5-Flash-Baseは、Baiduによって開発された高度なテキスト生成モデルで、Hugging Faceで利用可能です。これは、2800億の総パラメータを持つ効率的なスパースMixture-of-Experts (MoE)言語モデルで、トークンごとに140億がアクティブ化されています。このモデルは、33.5兆トークンの広範なデータセットでゼロから事前学習され、最大128Kのトレーニングコンテキストを利用しています。ファインチューニングと推論のために、印象的な1Mトークンのコンテキスト長をサポートします。
続きを読む
効率性を核心目標として設計されたERNIE 5.5 Flashは、注意メカニズムや残差接続からMoE層、出力ヘッドに至るまで、すべてのコンポーネントを見直しています。この包括的なアプローチは、アクティブ化された計算、KVキャッシュ、長コンテキストコストを統合設計の一部として考慮しています。事前学習データは、トレーニング後に構築するのが難しい能力、例えばリポジトリ規模のコード理解や長コンテキストの理解を強調しています。トレーニングシステムは、効率的なスケーリングを確保するためにアーキテクチャと共同設計されています。
ERNIE-5.5-Flash-Baseは、事前学習の終わりにおけるチェックポイントを表しており、開発者にとって理想的な基盤となります。これは、ドメイン適応、指示チューニング、強化学習研究を可能にします。このモデルは、知識、推論、数学、コード、多言語タスク、長コンテキストベンチマークをカバーする統一評価パイプライン全体で強力な結果を示しています。そのパフォーマンスは、DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Baseなどの他の大規模モデルと比較され、すべて一貫した条件下で評価されています。
アーキテクチャは、43層を持つ280B-A14Bハイブリッド注意MoEを組み込んでおり、1つの密なFFNと42のマルチルータ潜在MoE層を含んでいます。37の重圧縮注意(HCA)層と、スパース注意を持つ6つのマルチヘッド潜在注意層(MLA + DSA)を特徴としています。このモデルは、512のルーティングされた専門家(トップ10)と、各MoE層ごとに1つの共有専門家を利用します。主要な革新には、層特有のヘッド次元を持つハイブリッドMLA + HCA注意、低ランクゲート注意、仮想ヘッド注意(VHA)、マルチルータ潜在MoE、未来トークン予測のためのECHO、信号伝播のための多様体制約ハイパーコネクション(mHC)、およびマルチマックス出力ヘッドが含まれます。トークナイザーは、約200KエントリのBPEトークナイザーを使用し、最大3桁のグループで右から左に数字をトークン化します。
ERNIE-5.5-Flash-Baseの展開は、SGLangおよびvLLMでサポートされており、長コンテキスト推論のために最大1,048,576トークンのコンテキスト長でのプロダクションサービスを可能にします。このモデルは、Baiduが著作権を保有するERNIE 5.5 Flash Base Model License Agreement v1.0の下で提供されます。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
ERNIE-5.5-Flash-Baseのハイライト
280Bの総パラメータで、トークンごとに14Bがアクティブ化
33.5Tトークンで事前学習
ファインチューニングと推論のために1Mトークンのコンテキストをサポート
効率的なスパースMixture-of-Experts (MoE)アーキテクチャ
層特有のヘッド次元を持つハイブリッドMLA + HCA注意
低ランクゲート注意および仮想ヘッド注意(VHA)
512のルーティングされた専門家と1つの共有専門家を持つマルチルータ潜在MoE
マルチホライズン損失と推測デコーディングのためのECHO
信号伝播のための多様体制約ハイパーコネクション(mHC)
語彙分布を鋭くするためのマルチマックス出力ヘッド
右から左に数字をトークン化する約200KエントリのBPEトークナイザー
SGLangおよびvLLMでの展開をサポート
知識、推論、数学、コード、多言語、長コンテキストベンチマーク全体での強力なパフォーマンス
FP8およびBF16精度の重みが利用可能
ERNIE-5.5-Flash-Baseをはじめる
モデルにアクセス: Hugging FaceのERNIE-5.5-Flash-Baseページに移動します。
モデルをダウンロード: FP8 (safetensors)またはBF16 (safetensors)精度のいずれかを選択してダウンロードします。
展開ツールをインストール: vLLMおよびERNIE 5.5プラグインをインストールするか、公式のSGLangプリビルドDockerイメージを使用します。
サーバーを起動: vLLMまたはSGLangサーバーを起動してモデルをホストします。
リクエストを送信: curlや他のAPIクライアントを使用して、テキスト生成のための完了エンドポイントにリクエストを送信します。
モデルをファインチューニング: 事前学習されたチェックポイントを利用して、ドメイン適応、指示チューニング、または強化学習研究を行います。
ERNIE-5.5-Flash-Baseの使用例
- テキスト生成
- ドメイン適応
- 指示チューニング
- 強化学習研究
- コード生成と理解
- 長コンテキスト理解
- 多言語アプリケーション
- 推論タスク









