Descrição
Sarvam-Prism é um modelo de decisão especializado desenvolvido pela Sarvam, aproveitando a poderosa estrutura do Sarvam-105B. Sua função principal é a classificação de texto, onde processa um contexto dado e uma ou mais perguntas, cada uma acompanhada por um conjunto fixo de respostas possíveis. Ao contrário dos modelos de IA generativa, o Sarvam-Prism não cria novo texto; em vez disso, atribui uma probabilidade a cada opção de resposta pré-definida em uma única passagem para frente, garantindo que a saída seja sempre uma das escolhas fornecidas.
Ler mais
Este modelo é particularmente adequado para aplicações que exigem uma tomada de decisão precisa e restrita, em vez de geração de texto aberta. Ele opera transformando cada pergunta em uma sequência que inclui o estado, instruções e cada opção, seguida por um marcador de resposta. Uma pequena cabeça de decisão então lê o estado oculto no final de cada opção e no marcador de resposta para produzir probabilidades para cada opção. A arquitetura do modelo inclui ajustes específicos de máscara de atenção e núcleos FP8 para uma inferência eficiente.
O Sarvam-Prism está disponível para download e pode ser executado no Hugging Face, com requisitos de hardware específicos, incluindo uma GPU NVIDIA com suporte a FP8 e aproximadamente 120 GB de memória livre (por exemplo, B200 ou H200). Também requer Python 3.10+ e um compilador C. Para aqueles sem o hardware necessário, o Sarvam-Prism também é oferecido como uma API hospedada pela Sarvam, eliminando a necessidade de recursos de GPU locais.
O desempenho do modelo é otimizado para velocidade, alcançando uma mediana de 44 ms por solicitação em uma NVIDIA B200, conforme medido no benchmark público Decision Index. Ele suporta vários formatos de solicitação, incluindo tipos 'choice', 'yes_no' e 'score', permitindo um design flexível de perguntas. Todas as perguntas dentro de uma solicitação são pontuadas juntas em lotes, com cada pergunta sendo pontuada de forma independente. O limite de contexto é definido em 131.072 tokens por pergunta, acomodando entradas extensas.
Os pesos são armazenados em um layout FP8 personalizado, tornando-os incompatíveis com servidores de inferência de uso geral ou modelos padrão como AutoModelForCausalLM. O código de inferência do modelo, incluindo codificação de entrada, máscara de atenção, cabeça de decisão e núcleos FP8, é fornecido no arquivo `prism.py`. O Sarvam-Prism é lançado sob a Licença Apache 2.0, tornando-o acessível para uma ampla gama de aplicações.
- CategoriaModelos de IA e LLMs
- Modelo de preçosFreemium
- ImplantaçãoNuvem, Auto-hospedado
- PlataformasWeb
Destaques de Sarvam-Prism
Modelo de decisão para classificação de texto
Construído sobre a estrutura do Sarvam-105B
Retorna probabilidade para respostas pré-definidas
Não gera texto, apenas seleciona entre opções
Disponível para download no Hugging Face
API hospedada disponível pela Sarvam (sem necessidade de GPU)
Requer GPU NVIDIA com suporte a FP8 (por exemplo, B200/H200)
Requer Python 3.10+ e compilador C
Otimizado para velocidade com mediana de 44 ms por solicitação
Suporta tipos de perguntas 'choice', 'yes_no' e 'score'
Processa perguntas em lotes
Limite de contexto de 131.072 tokens por pergunta
Pesos armazenados em layout FP8 personalizado
Código de inferência fornecido em `prism.py`
Licenciado sob Apache 2.0
Primeiros passos com Sarvam-Prism
Baixar Modelo e Código: Obtenha o modelo Sarvam-Prism e o código associado do seu repositório no Hugging Face.
Instalar Dependências: Configure o ambiente Python 3.10+ necessário e instale todas as dependências necessárias.
Preparar Hardware: Certifique-se de ter uma GPU NVIDIA com suporte a FP8 e pelo menos 120 GB de memória livre, como uma B200 ou H200.
Carregar Modelo: Use `Prism.from_pretrained("sarvamai/prism")` ou carregue o modelo com `prism.py` conforme instruído.
Formatar Solicitação: Estruture sua entrada com um `state` (contexto) e `questions` (mapeamento de nomes de perguntas para objetos de perguntas), especificando `type`, `instructions` e `criteria`.
Executar Inferência: Execute o modelo com sua solicitação formatada para receber probabilidades para cada opção de resposta.
Acessar API (Opcional): Utilize a API hospedada pela Sarvam se os recursos de GPU locais não estiverem disponíveis, seguindo a documentação da API.
Casos de uso de Sarvam-Prism
- Tomada de Decisão Estruturada
- Classificação de Texto
- Análise de Pesquisa
- Resposta a Perguntas
- Pontuação de Sentimento
- Verificação de Conformidade
- Moderação de Conteúdo
