説明
SenseNova-Loop-9B-Previewは、複雑で長いコンテキストのシナリオやエージェントワークフローを処理するために設計された先進的なマルチモーダル言語モデルです。SenseNovaによって開発されたこのモデルは、テキストと画像の両方の入力を受け入れ、その後テキスト出力を生成することができます。主なアプリケーションは、包括的な文書理解、洗練されたコーディングタスク、さまざまな外部ツールとのシームレスな相互作用などの分野に広がります。
続きを読む
SenseNova-Loop-9B-Previewのアーキテクチャの核心は、ループデコーダと二重ストリーム多様体制約ハイパーコネクション(mHC)の革新的な組み合わせにあります。この設計により、デコーダ層の連続ブロックを共有重みを使用して2回実行でき、パラメータを重複させることなく実行パスを大幅に深めることができます。mHCシステム内の学習されたマッピングは、ループセクション内の2つの残差ストリーム間の情報フローを効率的に管理し、モデルの情報処理および統合能力を向上させます。
モデルのトレーニングレシピには、長いシーケンス、多様なマルチモーダル入力、および監視されたタスクの軌跡が含まれており、最大トレーニングシーケンス長は262,144トークンに達します。この広範なトレーニングにより、さまざまな複雑なタスクに対して堅牢なパフォーマンスが可能になります。最適な操作のために、ユーザーは文書化されたデプロイメント環境と構成パラメータを利用することをお勧めします。
主なアーキテクチャのハイライトには、24のデコーダ層が2回適用される共有ループブロックが含まれ、32の異なる層から56のデコーダ層の実行が得られます。二重ストリームmHCは、残差ストリーム間の情報のインテリジェントなルーティングと組み合わせを促進します。さらに、デコーダはハイブリッドアテンションメカニズムを採用しており、線形アテンションとフルアテンションを繰り返し4層パターンで交互に配置し、ループパス全体で保持されます。このモデルは、加速された推論のためのMTPもサポートしており、現在、速度をさらに向上させるためにDsparkとDflash2が開発中です。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
SenseNova-Loop-9B-Previewのハイライト
マルチモーダル入力: テキストと画像の両方を受け入れます
テキスト生成: テキスト出力を生成します
ループデコーダアーキテクチャ: 共有重みでデコーダ層を2回実行します
二重ストリーム多様体制約ハイパーコネクション(mHC): 残差ストリーム間の情報フローを管理します
長いコンテキスト処理: 最大262,144トークンのトレーニングシーケンス長をサポートします
エージェントワークフローサポート: 外部ツールとの相互作用のために設計されています
ハイブリッドアテンション: 線形アテンションとフルアテンション層を交互に配置します
パラメータ効率: 32の異なる層から56のデコーダ層の実行を達成します
文書理解: 複雑な文書を処理する能力があります
コーディングアプリケーション: コード関連のタスクをサポートします
MTP推論加速: より高速な処理のために利用可能です
ファインチューニングサポート: カスタマイズのための文書化されたトレーニングレシピを提供します
Apache License 2.0: 使用および変更のためのオープンソースライセンス
Hugging Face統合: Hugging Faceでのダウンロードとデプロイが可能です
SenseNova-Loop-9B-Previewをはじめる
モデルページにアクセス: Hugging FaceのSenseNova-Loop-9B-Previewページに移動します。
依存関係をインストール: CUDA環境に適したPyTorchをインストールし、その後Transformers 5.18.0とPyTorch 2.11.0をインストールします。
モデルをロード: Transformersライブラリを使用して、Hugging Faceリポジトリまたはローカルディレクトリからモデルとそのカスタム実装をロードします。
推論を構成: `model_id`をリポジトリIDまたはローカルパスに設定し、`enable_thinking`や`device`などのパラメータを構成します。
テキストを生成: 提供されたPythonの例を実行してテキスト生成を行い、新しいトークンの数を指定します。
モデルをファインチューニング: 文書化されたトレーニングコマンドを使用して、8つのGPUを持つ単一ノードでSFTデータセットを使用してファインチューニングを行います。
モデルをデプロイ: 提供された例のローカルモデルパスを置き換えて、LightLLMやSGLangなどのデプロイメントオプションを利用します。
SenseNova-Loop-9B-Previewの使用例
- 長いコンテキストの文書理解
- エージェントワークフローの自動化
- マルチモーダルコンテンツ生成
- 高度なコーディング支援
- PPTデザインの自動化
- モーションデザインテキスト生成
- データ分析報告
- マルチモーダル研究開発







