Description
Granite Switch 4.1 30B est un modèle de langage modulaire sophistiqué (LLM) développé par IBM, disponible sur Hugging Face. Ce modèle est conçu pour fournir une solution polyvalente pour diverses tâches d'IA en composant un modèle de base de 30 milliards de paramètres avec des adaptateurs spécialisés et un encodeur de transcription vocale intégré. Cette architecture permet à un seul point de terminaison hébergé de passer sans effort entre différentes fonctionnalités, y compris la génération de langage naturel, la prise de décisions générales et spécialisées, et la transcription de la parole en texte.
Lire la suite
Le cœur de Granite Switch 4.1 30B est le modèle de base ibm-granite/granite-4.1-30b, qui dispose d'une fenêtre de contexte de 128K. Il est complété par deux adaptateurs principaux : un aLoRA de « décision » pour la prise de décision à usage général et un aLoRA de « guardian-core » pour détecter les risques de sécurité tels que les dommages, le jailbreak, la vulgarité, la violence, le contenu sexuel, le biais social et le comportement non éthique. Ces adaptateurs sont activés à la demande à l'aide de jetons de contrôle dans le modèle de chat, offrant une fonctionnalité dynamique.
Une caractéristique clé de ce modèle est sa capacité intégrée de transcription vocale en texte, alimentée par ibm-granite/granite-speech-5.0-470m-turboctc. Cet encodeur prend en charge la transcription dans sept langues : anglais, français, allemand, espagnol, portugais, italien et japonais, produisant des transcriptions ponctuées et capitalisées. Cela signifie que l'entrée audio peut être traitée directement sur le même point de terminaison que les tâches de chat et de décision, éliminant ainsi le besoin d'un serveur vocal séparé.
Granite Switch 4.1 30B est sous licence Apache 2.0 et prend en charge des backends tels que HuggingFace Transformers et vLLM. Il est conçu pour les développeurs et les organisations cherchant à intégrer un traitement avancé du langage, des décisions et de la parole dans leurs applications. Le modèle est également disponible dans d'autres configurations, y compris une version de base 8B et des ensembles complets de bibliothèques Granite. Les considérations éthiques soulignent la nécessité de tests de sécurité au niveau de l'application et de surveillance, car l'adaptateur guardian-core intégré fournit une couche de sécurité supplémentaire mais ne remplace pas les garanties de déploiement complètes.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de Granite Switch 4.1 30B
Architecture LLM modulaire avec modèle de base et adaptateurs
30 milliards de paramètres pour le modèle de base
Fenêtre de contexte de 128K tokens
Adaptateur de prise de décision (aLoRA) pour des décisions à usage général
Adaptateur guardian-core (aLoRA) pour la détection des risques de sécurité
Encodeur de transcription vocale multilingue intégré (ASR)
Prend en charge l'anglais, le français, l'allemand, l'espagnol, le portugais, l'italien, le japonais pour l'ASR
Détection automatique de la langue pour l'entrée audio
Point de terminaison unique hébergé pour le chat, les décisions et la transcription vocale
Adaptateurs activés à la demande via des jetons de contrôle
Compatible avec les backends HuggingFace Transformers et vLLM
Licence Apache 2.0
Normalisation du cache KV pour les adaptateurs
Pas d'entraînement conjoint des adaptateurs, permettant un développement indépendant
Point de contrôle unique pour HuggingFace et vLLM sans conversion
Premiers pas avec Granite Switch 4.1 30B
Accéder au modèle : Naviguez vers la page ibm-granite/granite-switch-4.1-30b sur Hugging Face.
Installer les dépendances : Assurez-vous que Python (>=3.11, <3.14), granite-switch (>=0.1.1), PyTorch (>=2.11.0) et Transformers (>=5.16, <=5.17.0) sont installés.
Charger le modèle : Utilisez la bibliothèque HuggingFace Transformers pour charger le modèle, en spécifiant la révision souhaitée si ce n'est pas la dernière.
Activer les adaptateurs : Passez le nom de l'adaptateur (par exemple, 'guardian-core', 'decision') au modèle de chat via `chat_template_kwargs` dans votre demande.
Traiter l'entrée audio : Définissez `asr_enabled: true` dans `config.json` pour activer la transcription vocale en texte pour les entrées audio.
Envoyer des invites : Construisez des invites pour la génération de texte, la prise de décision ou la transcription vocale, en utilisant les adaptateurs activés.
Interpréter les sorties : Pour les adaptateurs de décision, lisez les probabilités calibrées sur les étiquettes d'option ; pour guardian-core, analysez le verdict JSON.
Cas d'utilisation de Granite Switch 4.1 30B
- Chatbots multilingues
- Systèmes de décision automatisés
- Modération de contenu
- Services de transcription vocale
- Assistants virtuels intelligents
- Compréhension du langage
- Support client alimenté par l'IA














