説明
Hy4 Previewは、Tencent Hyチームによって開発された最先端のMixture-of-Experts（MoE）モデルです。合計7700億のパラメータを誇り、トークンごとに490億がアクティブ化されます。このモデルのアーキテクチャは78層で構成されており、密なFFN層とMoE層の組み合わせを利用し、各層には256のルーティングされたエキスパートと1つの共有エキスパートが含まれています。この設計により、トークンごとに上位8つのルーティングされたエキスパートをアクティブ化でき、処理能力が向上します。
続きを読む
このモデルは、効率的なクロスレイヤーのスパースインデックス再利用のために、IndexCacheを使用したGated DeepSeek Sparse Attention（Gated DSA）を採用しています。残差経路は、アイデンティティハイパーコネクション（iHC）を使用して、層間の情報フローを改善します。Hy4 Previewは、モデルサイズ、コンテキスト長、トレーニングデータの観点からスケールアップされており、オープンソースAIモデルのリーダーとなっています。
Hy4 Previewは、ソフトウェアエンジニアリング、ゲーム開発、科学研究など、さまざまな分野で優れた性能を発揮するように設計されています。ソフトウェアエンジニアリングでは、長期的なタスクの理解、計画、デバッグ、検証を支援します。ゲーム開発では、単一のプロンプトをプレイ可能なプロトタイプに変換し、ゲームエンジンとシームレスに連携します。オフィスや分析タスクでは、混乱したコンテキストを文書やスプレッドシートなどの共有可能な成果物に変換します。科学研究においては、強力な推論能力と問題解決能力を提供します。
このモデルはオープンソースであり、Hugging Face、ModelScope、GitCode、CNBなどのプラットフォームで利用可能です。vLLMまたはSGLangを使用してデプロイをサポートし、包括的なモデルファインチューニングパイプラインを提供します。Hy4 PreviewはApache License 2.0の下でリリースされており、さまざまなアプリケーションに対するアクセス性と適応性を確保しています。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
Hy4 Previewのハイライト
Mixture-of-Expertsアーキテクチャ
7700億のパラメータ
Gated DeepSeek Sparse Attention
アイデンティティハイパーコネクション
オープンソース
ファインチューニングサポート
推測デコーディング
Hugging Faceで利用可能
Hy4 Previewをはじめる
モデルページにアクセス: 公式Hugging Faceページを訪問
認証: ログインまたはアカウントを作成
設定: モデルパラメータと環境を設定
プロンプトを送信: API呼び出しを使用してモデルと対話
ファインチューニング: 特定のタスクに合わせてモデルをカスタマイズ
Hy4 Previewの使用例
- ソフトウェアエンジニアリング
- ゲーム開発
- オフィス分析
- 科学研究
- AI研究
