Descrição
Granite Switch 4.1 30B é um sofisticado modelo de linguagem modular (LLM) desenvolvido pela IBM, disponível no Hugging Face. Este modelo é projetado para fornecer uma solução versátil para várias tarefas de IA, combinando um modelo base de 30 bilhões de parâmetros com adaptadores especializados e um codificador de fala para texto embutido. Esta arquitetura permite que um único ponto de extremidade hospedado transite perfeitamente entre diferentes funcionalidades, incluindo a geração de linguagem natural, a tomada de decisões gerais e especializadas, e a transcrição de fala em texto.
Ler mais
O núcleo do Granite Switch 4.1 30B é o modelo base ibm-granite/granite-4.1-30b, que possui uma janela de contexto de 128K. Ele é complementado por dois adaptadores principais: um aLoRA de 'decisão' para tomada de decisões de propósito geral e um aLoRA 'guardian-core' para detectar riscos de segurança, como danos, jailbreak, profanidade, violência, conteúdo sexual, viés social e comportamento antiético. Esses adaptadores são ativados sob demanda usando tokens de controle dentro do template de chat, proporcionando funcionalidade dinâmica.
Uma característica chave deste modelo é sua capacidade embutida de fala para texto, alimentada pelo ibm-granite/granite-speech-5.0-470m-turboctc. Este codificador suporta transcrição em sete idiomas: inglês, francês, alemão, espanhol, português, italiano e japonês, produzindo transcrições pontuadas e capitalizadas. Isso significa que a entrada de áudio pode ser processada diretamente no mesmo ponto de extremidade que as tarefas de chat e decisão, eliminando a necessidade de um servidor de fala separado.
Granite Switch 4.1 30B é licenciado sob a Apache 2.0 e suporta backends como HuggingFace Transformers e vLLM. É projetado para desenvolvedores e organizações que buscam integrar processamento avançado de linguagem, decisão e fala em suas aplicações. O modelo também está disponível em outras configurações, incluindo uma versão base de 8B e pacotes completos das Bibliotecas Granite. Considerações éticas enfatizam a necessidade de testes e monitoramento de segurança em nível de aplicação, uma vez que o adaptador guardian-core embutido fornece uma camada adicional de segurança, mas não substitui as salvaguardas abrangentes de implantação.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de Granite Switch 4.1 30B
Arquitetura modular de LLM com modelo base e adaptadores
30 bilhões de parâmetros para o modelo base
Janela de contexto de 128K tokens
Adaptador de tomada de decisão (aLoRA) para decisões de propósito geral
Adaptador guardian-core (aLoRA) para detecção de riscos de segurança
Codificador de fala para texto multilíngue (ASR) embutido
Suporta inglês, francês, alemão, espanhol, português, italiano e japonês para ASR
Detecção automática de idioma para entrada de áudio
Único ponto de extremidade hospedado para chat, decisões e fala para texto
Adaptadores ativados sob demanda via tokens de controle
Compatível com backends HuggingFace Transformers e vLLM
Licença Apache 2.0
Normalização de cache KV para adaptadores
Sem treinamento conjunto de adaptadores, permitindo desenvolvimento independente
Único ponto de verificação para HuggingFace e vLLM sem conversão
Primeiros passos com Granite Switch 4.1 30B
Acessar Modelo: Navegue até a página ibm-granite/granite-switch-4.1-30b no Hugging Face.
Instalar Dependências: Certifique-se de que Python (>=3.11, <3.14), granite-switch (>=0.1.1), PyTorch (>=2.11.0) e Transformers (>=5.16, <=5.17.0) estão instalados.
Carregar Modelo: Use a biblioteca HuggingFace Transformers para carregar o modelo, especificando a revisão desejada se não for a mais recente.
Ativar Adaptadores: Passe o nome do adaptador (por exemplo, 'guardian-core', 'decision') para o template de chat via `chat_template_kwargs` em sua solicitação.
Processar Entrada de Áudio: Defina `asr_enabled: true` em `config.json` para habilitar a transcrição de fala para texto para entradas de áudio.
Enviar Prompts: Construa prompts para geração de texto, tomada de decisão ou transcrição de fala, utilizando os adaptadores ativados.
Interpretar Saídas: Para adaptadores de decisão, leia as probabilidades calibradas sobre os rótulos de opção; para guardian-core, analise o veredicto em JSON.
Casos de uso de Granite Switch 4.1 30B
- Chatbots Multilíngues
- Sistemas de Decisão Automatizados
- Moderação de Conteúdo
- Serviços de Transcrição de Fala
- Assistentes Virtuais Inteligentes
- Compreensão de Linguagem
- Suporte ao Cliente Baseado em IA














