説明
K2-Horizon-MoVA-36B-A4Bは、効率的に複雑なタスクを処理するために設計された高度なMixture-of-Expertsモデルで、Mixture-of-Valuesアテンションを組み込んでいます。K2-Horizonファミリーの一部であり、36億のパラメータを保存しながら、トークンごとに4億を実行するスパースアーキテクチャが特徴です。このモデルは、チェックポイント、データ、およびトレーニングコードへのオープンアクセスとともにリリースされており、オープンソースおよびオープンサイエンスの取り組みを通じて人工知能の民主化を支援しています。
続きを読む
このモデルは、特にエージェント的および推論ベンチマークで優れた最先端の結果を達成します。約300億のサイズのオープンウェイト密モデルや、サイズの最大15倍のMoEモデルを上回り、クローズドフロンティアモデルに対しても効果的に競争します。524,288トークンのネイティブコンテキストウィンドウを持つK2-Horizon-MoVA-36B-A4Bは、中間トレーニング段階以降の広範なコンテキスト処理をサポートします。
中間チェックポイントが利用可能で、研究者は異なるトレーニング段階における能力の変化を研究できます。モデルのトレーニングデータとレシピ、トレーニングコードは完全にオープンであり、AI研究における透明性と協力を促進しています。
K2-Horizon-MoVA-36B-A4Bは、Transformers 5.15.0、PyTorch 2.13.0、およびSafetensors 0.8.0で検証されています。JSON、XML、およびXMLタイプの複数のツールコール形式をサポートし、デフォルトはXMLです。このモデルは、高い推論努力設定で使用するように設計されており、さまざまなアプリケーションで最適なパフォーマンスを確保します。
このモデルは、エージェント的ツールの使用、ターミナルの使用、科学的コーディング、大学院レベルの科学QAなど、さまざまなアプリケーションに適しています。特に長いコンテキスト推論と事実の正確性を維持するのに効果的であり、AIコミュニティの研究者や開発者にとって貴重なツールとなります。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
K2-Horizon-MoVA-36B-A4Bのハイライト
Mixture-of-Expertsアーキテクチャ
Mixture-of-Valuesアテンション
36億のパラメータ
4億のアクティブパラメータ
オープンソースのチェックポイントとデータ
512Kコンテキストウィンドウ
中間チェックポイントの利用可能
TransformersおよびPyTorchで検証済み
K2-Horizon-MoVA-36B-A4Bをはじめる
モデルページにアクセス: Hugging Faceを訪問
認証: アカウントにログイン
設定: reasoning_effortを高に設定
プロンプトを送信: 推奨設定でAPIを使用
ファインチューニング: 利用可能なチェックポイントを活用
K2-Horizon-MoVA-36B-A4Bの使用例
- エージェント的ツールの使用
- ターミナルの使用
- 科学的コーディング
- 大学院レベルのQA
- 長いコンテキスト推論









