説明
AliceAI-Foundation-80B-A3B-Baseは、Yandexによって開発され、Hugging Faceにホストされている基盤となる言語モデルです。Mixture of Experts(MoE)レイヤーを組み込んだハイブリッドアーキテクチャで設計されており、合計80億のパラメータを誇り、各トークンに対して30億のアクティブパラメータを持っています。このモデルは、最大262,144トークンのコンテキスト長をサポートしており、大規模なテキスト入力の処理に適しています。
続きを読む
このモデルは、ゼロからトレーニングされ、新たに組み立てられたトレーニングコーパスと慎重に選ばれたアーキテクチャおよびハイパーパラメータを使用しています。特にロシア語における事実に基づく知識タスクに強く、この分野ではより大きなオープンソースモデルを上回る性能を発揮します。モデルの性能は、ロシア語のコンテキストに焦点を当てたWikiWebFactsやHardMultiQAなどのベンチマークを通じて検証されています。
AliceAI-Foundation-80B-A3B-Baseは、自己回帰型の言語モデルであり、現在は事前トレーニング段階にあります。隠れ状態のサイズは2048、語彙のサイズは129,024で、48層から構成されています。モデルのアーキテクチャには、3つのKDAからなる12のブロックと、1つのゲーテッドアテンションからなるMoEレイヤーが含まれています。
このモデルの能力は、数学、プログラミング、推論タスクにおいて競争力のある結果を示すさまざまなベンチマークを通じて実証されています。特にロシア語における事実に基づく知識タスクにおいて効果的であり、WikiWebFactsやHardMultiQAのベンチマークでの性能がその証拠です。
AliceAI-Foundation-80B-A3B-Baseは、Transformersライブラリを通じて利用可能で、参照バージョンは5.16.1です。また、vLLMを使用してデプロイすることもでき、実行にはDockerとNVIDIA Container Toolkitが必要です。このモデルは、特定のタスクに対するさらなるファインチューニングと適応が可能であり、リポジトリ内でLoRAファインチューニングのサポートが提供されています。
このモデルは主に研究、実験、およびさらなる開発を目的としており、エンドユーザー向けの製品やサービスのための即使用可能なソリューションではありません。ユーザーは、自身のテストを実施し、モデルを本番環境にデプロイする前に必要なファインチューニングと制御措置を実施することを推奨します。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
AliceAI-Foundation-80B-A3B-Baseのハイライト
80億のパラメータ
各トークンに対して30億のアクティブパラメータ
MoEレイヤーを備えたハイブリッドアーキテクチャ
最大262,144トークンのコンテキスト長をサポート
ロシア語の事実に基づく知識タスクにおける強力な性能
ゼロから事前トレーニング
TransformersおよびvLLMを通じて利用可能
LoRAファインチューニングをサポート
AliceAI-Foundation-80B-A3B-Baseをはじめる
モデルページにアクセス: Hugging Faceを訪問
認証: アカウントにログイン
設定: モデルパラメータを設定
プロンプトを送信: テキストクエリを入力
ファインチューニング: 特定のタスクにモデルを適応
AliceAI-Foundation-80B-A3B-Baseの使用例
- 事実に基づく知識の取得
- 数学的問題解決
- プログラミング支援
- 言語理解
- 研究と開発










