説明
Granite Switch 4.1 30Bは、IBMによって開発された高度なモジュラー大規模言語モデル(LLM)で、Hugging Faceで利用可能です。このモデルは、300億パラメータのベースモデルを専門的なアダプターと埋め込み型音声からテキストへのエンコーダーと組み合わせることで、さまざまなAIタスクに対する柔軟なソリューションを提供するように設計されています。このアーキテクチャにより、単一のホストエンドポイントで自然言語の生成、一般的および専門的な意思決定、音声をテキストに転写する機能をシームレスに切り替えることができます。
続きを読む
Granite Switch 4.1 30Bのコアは、128Kのコンテキストウィンドウを持つibm-granite/granite-4.1-30bベースモデルです。これは、一般的な意思決定のための「decision」aLoRAと、危険を検出するための「guardian-core」aLoRAという2つの主要なアダプターによって強化されています。これらのアダプターは、チャットテンプレート内の制御トークンを使用してオンデマンドでアクティブ化され、動的な機能を提供します。
このモデルの重要な機能は、ibm-granite/granite-speech-5.0-470m-turboctcによって駆動される埋め込み型音声からテキストへの機能です。このエンコーダーは、英語、フランス語、ドイツ語、スペイン語、ポルトガル語、イタリア語、日本語の7言語での転写をサポートし、句読点と大文字を含む転写を出力します。これにより、音声入力はチャットや意思決定タスクと同じエンドポイントで直接処理でき、別の音声サーバーを必要としません。
Granite Switch 4.1 30BはApache 2.0の下でライセンスされており、HuggingFace TransformersやvLLMなどのバックエンドをサポートしています。これは、先進的な言語、意思決定、音声処理をアプリケーションに統合しようとする開発者や組織向けに設計されています。このモデルは、8Bベースバージョンや完全なGranite Librariesバンドルなど、他の構成でも利用可能です。倫理的考慮事項は、アプリケーションレベルの安全性テストと監視の必要性を強調しており、埋め込み型guardian-coreアダプターは追加の安全層を提供しますが、包括的な展開の安全策の代替にはなりません。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
Granite Switch 4.1 30Bのハイライト
ベースモデルとアダプターを持つモジュラーLLMアーキテクチャ
ベースモデルのための300億パラメータ
128Kトークンのコンテキストウィンドウ
一般的な意思決定のための意思決定アダプター(aLoRA)
安全リスク検出のためのguardian-coreアダプター(aLoRA)
埋め込み型多言語音声からテキストへの(ASR)エンコーダー
ASRのための英語、フランス語、ドイツ語、スペイン語、ポルトガル語、イタリア語、日本語をサポート
音声入力の自動言語検出
チャット、意思決定、音声からテキストへのための単一ホストエンドポイント
制御トークンを介してオンデマンドでアクティブ化されるアダプター
HuggingFace TransformersおよびvLLMバックエンドとの互換性
Apache 2.0ライセンス
アダプターのためのKVキャッシュ正規化
アダプターの共同トレーニングなし、独立した開発を可能に
変換なしでHuggingFaceとvLLMのための単一チェックポイント
Granite Switch 4.1 30Bをはじめる
モデルにアクセス: Hugging Faceのibm-granite/granite-switch-4.1-30bページに移動します。
依存関係をインストール: Python(>=3.11、<3.14)、granite-switch(>=0.1.1)、PyTorch(>=2.11.0)、およびTransformers(>=5.16、<=5.17.0)がインストールされていることを確認します。
モデルをロード: HuggingFace Transformersライブラリを使用してモデルをロードし、最新でない場合は希望のリビジョンを指定します。
アダプターをアクティブ化: リクエスト内の`chat_template_kwargs`を介してアダプター名(例: 'guardian-core', 'decision')をチャットテンプレートに渡します。
音声入力を処理: 音声入力のために`config.json`で`asr_enabled: true`を設定して音声からテキストへの転写を有効にします。
プロンプトを送信: アクティブ化されたアダプターを利用して、テキスト生成、意思決定、または音声転写のためのプロンプトを構築します。
出力を解釈: 意思決定アダプターの場合はオプションラベルに対するキャリブレーションされた確率を読み取り、guardian-coreの場合はJSONの判定を解析します。
Granite Switch 4.1 30Bの使用例
- 多言語チャットボット
- 自動意思決定システム
- コンテンツモデレーション
- 音声転写サービス
- インテリジェントバーチャルアシスタント
- 言語理解
- AI駆動のカスタマーサポート














