Descripción
Sarvam-Prism es un modelo de decisión especializado desarrollado por Sarvam, aprovechando la potente arquitectura de Sarvam-105B. Su función principal es la clasificación de texto, donde procesa un contexto dado y una o más preguntas, cada una acompañada de un conjunto fijo de posibles respuestas. A diferencia de los modelos de IA generativa, Sarvam-Prism no crea nuevo texto; en su lugar, asigna una probabilidad a cada opción de respuesta predefinida en una sola pasada hacia adelante, asegurando que la salida sea siempre una de las opciones proporcionadas.
Leer más
Este modelo es particularmente adecuado para aplicaciones que requieren una toma de decisiones precisa y restringida en lugar de generación de texto abierta. Funciona transformando cada pregunta en una secuencia que incluye el estado, instrucciones y cada opción, seguida de un marcador de respuesta. Una pequeña cabeza de decisión luego lee el estado oculto al final de cada opción y en el marcador de respuesta para producir probabilidades para cada opción. La arquitectura del modelo incluye ajustes específicos de la máscara de atención y núcleos FP8 para una inferencia eficiente.
Sarvam-Prism está disponible para descarga y se puede ejecutar en Hugging Face, con requisitos de hardware específicos que incluyen una GPU NVIDIA con soporte FP8 y aproximadamente 120 GB de memoria libre (por ejemplo, B200 o H200). También requiere Python 3.10+ y un compilador C. Para aquellos que no cuentan con el hardware necesario, Sarvam-Prism también se ofrece como una API alojada por Sarvam, eliminando la necesidad de recursos de GPU locales.
El rendimiento del modelo está optimizado para la velocidad, logrando una mediana de 44 ms por solicitud en una NVIDIA B200, según se mide en el benchmark público Decision Index. Soporta varios formatos de solicitud, incluidos tipos 'choice', 'yes_no' y 'score', permitiendo un diseño de preguntas flexible. Todas las preguntas dentro de una solicitud se puntúan juntas en lotes, con cada pregunta siendo puntuadas de manera independiente. El límite de contexto se establece en 131,072 tokens por pregunta, acomodando entradas extensas.
Los pesos se almacenan en un diseño FP8 personalizado, lo que los hace incompatibles con servidores de inferencia de propósito general o modelos estándar como AutoModelForCausalLM. El código de inferencia del modelo, que incluye la codificación de entrada, la máscara de atención, la cabeza de decisión y los núcleos FP8, se proporciona dentro del archivo `prism.py`. Sarvam-Prism se publica bajo la Licencia Apache 2.0, lo que lo hace accesible para una amplia gama de aplicaciones.
- CategoríaModelos de IA y LLM
- Modelo de preciosFreemium
- ImplementaciónNube, Autoalojado
- PlataformasWeb
Aspectos destacados de Sarvam-Prism
Modelo de decisión para clasificación de texto
Construido sobre la arquitectura de Sarvam-105B
Devuelve probabilidades para respuestas predefinidas
No genera texto, solo selecciona de las opciones
Disponible para descarga en Hugging Face
API alojada disponible de Sarvam (sin necesidad de GPU)
Requiere GPU NVIDIA con soporte FP8 (por ejemplo, B200/H200)
Requiere Python 3.10+ y compilador C
Optimizado para velocidad con una mediana de 44 ms por solicitud
Soporta tipos de preguntas 'choice', 'yes_no' y 'score'
Procesa preguntas en lotes
Límite de contexto de 131,072 tokens por pregunta
Pesos almacenados en un diseño FP8 personalizado
Código de inferencia proporcionado en `prism.py`
Licenciado bajo Apache 2.0
Primeros pasos con Sarvam-Prism
Descargar Modelo y Código: Obtén el modelo Sarvam-Prism y el código asociado desde su repositorio en Hugging Face.
Instalar Dependencias: Configura el entorno requerido de Python 3.10+ e instala todas las dependencias necesarias.
Preparar Hardware: Asegúrate de tener una GPU NVIDIA con soporte FP8 y al menos 120 GB de memoria libre, como una B200 o H200.
Cargar Modelo: Usa `Prism.from_pretrained("sarvamai/prism")` o carga el modelo con `prism.py` según las instrucciones.
Formatear Solicitud: Estructura tu entrada con un `state` (contexto) y `questions` (mapeo de nombres de preguntas a objetos de preguntas), especificando `type`, `instructions` y `criteria`.
Ejecutar Inferencia: Ejecuta el modelo con tu solicitud formateada para recibir probabilidades para cada opción de respuesta.
Acceder a la API (Opcional): Utiliza la API alojada de Sarvam si los recursos de GPU locales no están disponibles, siguiendo la documentación de la API.
Casos de uso de Sarvam-Prism
- Toma de Decisiones Estructurada
- Clasificación de Texto
- Análisis de Encuestas
- Respuesta a Preguntas
- Puntuación de Sentimientos
- Verificación de Cumplimiento
- Moderación de Contenido
