説明
ERNIE-5.5-Flash-Base-BF16は、Baiduによって開発された高度なスパースMixture-of-Experts(MoE)言語モデルです。2800億の総パラメータを特徴としており、トークンごとに140億のパラメータが活性化され、複雑な言語タスクに対して非常に効率的です。このモデルは、33.5兆トークンの広範なデータセットでゼロから事前学習され、最大128,000トークンのトレーニングコンテキストを利用しています。ファインチューニングと推論のために、印象的な100万トークンのコンテキスト長をサポートし、長文コンテンツの深い理解と生成を可能にします。
続きを読む
効率性をコア原則として設計されたERNIE 5.5 Flashは、注意メカニズムや残差接続からMoE層、出力ヘッドに至るまで、すべてのコンポーネントを見直しています。この包括的なアプローチにより、計算、KVキャッシュ、長コンテキストコストを管理しながら最適なパフォーマンスを確保します。事前学習データは、リポジトリ規模のコード理解や長コンテキストの理解など、高度なアプリケーションに不可欠な能力を強調しており、開発者が多様なユースケースに向けてその一般的な能力を基に構築できるようにします。
ERNIE-5.5-Flash-Base-BF16は、事前学習の終了時点でのチェックポイントを表しており、中間または後のトレーニング段階の前の基盤モデルとして機能します。これにより、ドメイン適応、指示チューニング、強化学習に従事する研究者や開発者にとって理想的な出発点となります。このモデルは、知識、推論、数学、コード、多言語タスク、長コンテキスト理解に関連するベンチマークで優れた結果を示しています。
アーキテクチャは、43層を持つ280B-A14Bハイブリッド注意MoEを組み込んでおり、1つの密なFFNと42のマルチルータ潜在MoE層を含んでいます。37の重圧縮注意(HCA)層と6つのマルチヘッド潜在注意(MLA + DSA)層を特徴としており、スパース注意を使用しています。モデルは、各MoE層ごとに512のルーティングされたエキスパート(トップ10)と1つの共有エキスパートを利用します。低ランクゲート付き注意、仮想ヘッド注意(VHA)、マルチルータ潜在MoE、ECHO、マニフォールド制約付きハイパー接続(mHC)、マルチマックス出力ヘッドなどの革新が、先進的な能力と効率性に寄与しています。トークナイザーは約200,000エントリをサポートし、数字を右から左に最大3桁のグループでトークン化します。
デプロイメントはSGLangおよびvLLMでサポートされており、最大1,048,576トークンのコンテキスト長でのプロダクションサービスが可能です。このモデルは、ERNIE 5.5 Flash Base Model License Agreement v1.0の下で利用可能です。
- カテゴリーAIモデルとLLM
- デプロイクラウド
- プラットフォームWeb
ERNIE-5.5-Flash-Base-BF16のハイライト
2800億の総パラメータ
トークンごとに140億の活性化パラメータ
33.5兆トークンで事前学習
最大128,000トークンのトレーニングコンテキスト
ファインチューニングと推論は100万トークンのコンテキストをサポート
効率的なスパースMixture-of-Experts(MoE)アーキテクチャ
43層のハイブリッド注意MoE
37の重圧縮注意(HCA)層
6つのマルチヘッド潜在注意(MLA + DSA)層
各MoE層ごとに512のルーティングされたエキスパート(トップ10)と1つの共有エキスパート
低ランクゲート付き注意および仮想ヘッド注意(VHA)
正確なエキスパート選択のためのマルチルータ潜在MoE
マルチホライズン損失と推測デコーディングのためのECHO
信号伝播のためのマニフォールド制約付きハイパー接続(mHC)
語彙分布をシャープにするためのマルチマックス出力ヘッド
約200,000エントリのBPEトークナイザー
プロダクションサービスのためのSGLangおよびvLLMのサポート
ERNIE-5.5-Flash-Base-BF16をはじめる
モデルページにアクセス: Hugging FaceのERNIE-5.5-Flash-Base-BF16ページに移動します。
ファイルを探索: ページ上のモデルファイルとドキュメントを確認します。
モデルをダウンロード: ERNIE-5.5-Flash-Base-BF16モデルのチェックポイントをダウンロードします。
vLLMとプラグインをインストール: デプロイメントのためにvLLMとERNIE 5.5プラグインをインストールします。
サーバーを起動: SGLangまたはvLLMを使用してモデルサーバーを起動します。
リクエストを送信: curlなどのツールを使用して完了エンドポイントにリクエストを送信します。
ERNIE-5.5-Flash-Base-BF16の使用例
- テキスト生成
- ドメイン適応
- 指示チューニング
- 強化学習研究
- コード理解
- 長コンテキスト理解
- 多言語アプリケーション
- 推論タスク
- エージェンティックアプリケーション









