Descripción
Granite Switch 4.1 30B es un sofisticado modelo de lenguaje modular (LLM) desarrollado por IBM, disponible en Hugging Face. Este modelo está diseñado para proporcionar una solución versátil para diversas tareas de IA al componer un modelo base de 30 mil millones de parámetros con adaptadores especializados y un codificador de voz a texto integrado. Esta arquitectura permite que un único punto final alojado transite sin problemas entre diferentes funcionalidades, incluyendo la generación de lenguaje natural, la toma de decisiones generales y especializadas, y la transcripción de voz a texto.
Leer más
El núcleo de Granite Switch 4.1 30B es el modelo base ibm-granite/granite-4.1-30b, que cuenta con una ventana de contexto de 128K. Se complementa con dos adaptadores principales: un aLoRA de 'decisión' para la toma de decisiones de propósito general y un aLoRA de 'guardian-core' para detectar riesgos de seguridad como daño, jailbreak, lenguaje ofensivo, violencia, contenido sexual, sesgo social y comportamiento poco ético. Estos adaptadores se activan bajo demanda utilizando tokens de control dentro de la plantilla de chat, proporcionando funcionalidad dinámica.
Una característica clave de este modelo es su capacidad de voz a texto integrada, impulsada por ibm-granite/granite-speech-5.0-470m-turboctc. Este codificador admite la transcripción en siete idiomas: inglés, francés, alemán, español, portugués, italiano y japonés, produciendo transcripciones puntuadas y capitalizadas. Esto significa que la entrada de audio puede ser procesada directamente en el mismo punto final que las tareas de chat y decisión, eliminando la necesidad de un servidor de voz separado.
Granite Switch 4.1 30B está licenciado bajo Apache 2.0 y es compatible con backends como HuggingFace Transformers y vLLM. Está diseñado para desarrolladores y organizaciones que buscan integrar procesamiento avanzado de lenguaje, decisiones y voz en sus aplicaciones. El modelo también está disponible en otras configuraciones, incluyendo una versión base de 8B y paquetes completos de Granite Libraries. Las consideraciones éticas enfatizan la necesidad de pruebas de seguridad a nivel de aplicación y monitoreo, ya que el adaptador guardian-core integrado proporciona una capa adicional de seguridad, pero no es un sustituto de las salvaguardias integrales de implementación.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de Granite Switch 4.1 30B
Arquitectura modular de LLM con modelo base y adaptadores
30 mil millones de parámetros para el modelo base
Ventana de contexto de 128K tokens
Adaptador de toma de decisiones (aLoRA) para decisiones de propósito general
Adaptador guardian-core (aLoRA) para detección de riesgos de seguridad
Codificador de voz a texto multilingüe (ASR) integrado
Soporta inglés, francés, alemán, español, portugués, italiano, japonés para ASR
Detección automática de idioma para entrada de audio
Un único punto final alojado para chat, decisiones y voz a texto
Adaptadores activados bajo demanda a través de tokens de control
Compatible con backends de HuggingFace Transformers y vLLM
Licencia Apache 2.0
Normalización de caché KV para adaptadores
No hay entrenamiento conjunto de adaptadores, permitiendo desarrollo independiente
Un único punto de control para HuggingFace y vLLM sin conversión
Primeros pasos con Granite Switch 4.1 30B
Acceder al Modelo: Navega a la página ibm-granite/granite-switch-4.1-30b en Hugging Face.
Instalar Dependencias: Asegúrate de que Python (>=3.11, <3.14), granite-switch (>=0.1.1), PyTorch (>=2.11.0) y Transformers (>=5.16, <=5.17.0) estén instalados.
Cargar el Modelo: Usa la biblioteca HuggingFace Transformers para cargar el modelo, especificando la revisión deseada si no es la más reciente.
Activar Adaptadores: Pasa el nombre del adaptador (por ejemplo, 'guardian-core', 'decision') a la plantilla de chat a través de `chat_template_kwargs` en tu solicitud.
Procesar Entrada de Audio: Establece `asr_enabled: true` en `config.json` para habilitar la transcripción de voz a texto para entradas de audio.
Enviar Prompts: Construye prompts para generación de texto, toma de decisiones o transcripción de voz, utilizando los adaptadores activados.
Interpretar Salidas: Para adaptadores de decisión, lee las probabilidades calibradas sobre las etiquetas de opción; para guardian-core, analiza el veredicto en JSON.
Casos de uso de Granite Switch 4.1 30B
- Chatbots Multilingües
- Sistemas de Decisión Automatizados
- Moderación de Contenido
- Servicios de Transcripción de Voz
- Asistentes Virtuales Inteligentes
- Comprensión del Lenguaje
- Soporte al Cliente Potenciado por IA














