説明
Beam 1.0 DFlash2は、Beam言語モデルと連携して動作するドラフトモデルであり、推測デコーディングを通じて言語処理に独自のアプローチを提供します。このモデルは単独では機能せず、代わりにドラフターとして機能し、1回の前方パスでトークンのブロックを生成し、各位置でのトップ候補を維持します。小さなセレクターがこれらの候補の中から最適な経路を選択します。モデルのアーキテクチャは5層で、隠れ層のサイズは5120であり、ブロックの終わりに向かって精度の低下を防ぐために2タップの動的畳み込みを利用しています。
続きを読む
ドラフターはBeamからの隠れ状態に条件付けされ、Beamの凍結された埋め込みと言語モデルヘッドを再利用します。4,096トークンのスライディングウィンドウを使用してコンテキストに対する注意を特徴としており、ドラフティングコストはコンテキストの長さに応じて増加しません。19.3億のパラメータを持つBeam 1.0 DFlash2は、ブロックサイズ16でトレーニングされていますが、サービス用にはサイズ8が推奨されています。
パフォーマンスに関して、Beam 1.0 DFlash2は、GSM8K、MATH-500、HumanEval、MBPP、MT-Benchなどのさまざまなベンチマークで印象的な結果を示しています。モデルの受け入れ長はプロンプトの長さに応じて変化し、長いコンテキストでも効率を維持します。さらに、モデルは大幅なデコードのスピードアップを提供し、出力トークンの秒あたりの数は異なる同時実行レベルで大幅に増加します。
Beam 1.0 DFlash2は、bf16、FP8、またはNVFP4形式でBeamとの統合を目的としており、SGLang、vLLM、TokenSpeedなどのレシピを使用します。このモデルは、言語処理において高い精度と効率を必要とするアプリケーションに特に適しており、人工知能の分野での開発者や研究者にとって貴重なツールとなります。
- カテゴリーAIモデルとLLM
- デプロイクラウド
- プラットフォームWeb
Beam 1.0 DFlash2のハイライト
推測デコーディングサーバー
トップ候補選択によるトークンドラフティング
2タップ動的畳み込み
4,096トークンスライディングウィンドウ注意
19.3億のパラメータ
5層アーキテクチャ
Beamの凍結埋め込みとの統合
bf16、FP8、NVFP4のサポート
Beam 1.0 DFlash2をはじめる
モデルにアクセス: Hugging Faceを訪問
認証: 認証情報を使用
環境設定: Beam用にシステムを構成
API経由で統合: 提供されたレシピを使用して接続
最適化: パフォーマンスのために設定を調整
Beam 1.0 DFlash2の使用例
- 言語処理
- トークンドラフティング
- コンテキスト注意
- AI研究
- モデル統合










