Description
Sarvam-Prism est un modèle de décision spécialisé développé par Sarvam, tirant parti de l'architecture puissante de Sarvam-105B. Sa fonction principale est la classification de texte, où il traite un contexte donné et une ou plusieurs questions, chacune accompagnée d'un ensemble fixe de réponses possibles. Contrairement aux modèles d'IA générative, Sarvam-Prism ne crée pas de nouveau texte ; au lieu de cela, il attribue une probabilité à chaque option de réponse prédéfinie en un seul passage, garantissant que la sortie est toujours l'un des choix fournis.
Lire la suite
Ce modèle est particulièrement adapté aux applications nécessitant une prise de décision précise et contrainte plutôt qu'une génération de texte ouverte. Il fonctionne en transformant chaque question en une séquence qui inclut l'état, les instructions et chaque option, suivie d'un marqueur de réponse. Une petite tête de décision lit ensuite l'état caché à la fin de chaque option et au marqueur de réponse pour produire des probabilités pour chaque option. L'architecture du modèle comprend des ajustements spécifiques du masque d'attention et des noyaux FP8 pour une inférence efficace.
Sarvam-Prism est disponible en téléchargement et peut être exécuté sur Hugging Face, avec des exigences matérielles spécifiques, y compris un GPU NVIDIA avec support FP8 et environ 120 Go de mémoire libre (par exemple, B200 ou H200). Il nécessite également Python 3.10+ et un compilateur C. Pour ceux qui n'ont pas le matériel nécessaire, Sarvam-Prism est également proposé en tant qu'API hébergée par Sarvam, éliminant ainsi le besoin de ressources GPU locales.
Les performances du modèle sont optimisées pour la vitesse, atteignant une médiane de 44 ms par requête sur un NVIDIA B200, mesurée sur le benchmark public Decision Index. Il prend en charge divers formats de requêtes, y compris les types « choix », « oui_non » et « score », permettant une conception de questions flexible. Toutes les questions d'une requête sont notées ensemble par lots, chaque question étant notée indépendamment. La limite de contexte est fixée à 131 072 tokens par question, permettant un large éventail d'entrées.
Les poids sont stockés dans une disposition FP8 personnalisée, les rendant incompatibles avec les serveurs d'inférence à usage général ou les modèles standard comme AutoModelForCausalLM. Le code d'inférence du modèle, y compris l'encodage des entrées, le masque d'attention, la tête de décision et les noyaux FP8, est fourni dans le fichier `prism.py`. Sarvam-Prism est publié sous la licence Apache 2.0, le rendant accessible pour un large éventail d'applications.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireFreemium
- DéploiementCloud, Auto-hébergé
- PlateformesWeb
Points forts de Sarvam-Prism
Modèle de décision pour la classification de texte
Construit sur l'architecture de Sarvam-105B
Retourne des probabilités pour des réponses prédéfinies
Ne génère pas de texte, sélectionne uniquement parmi les options
Disponible en téléchargement sur Hugging Face
API hébergée disponible par Sarvam (pas de GPU nécessaire)
Nécessite un GPU NVIDIA avec support FP8 (par exemple, B200/H200)
Nécessite Python 3.10+ et un compilateur C
Optimisé pour la vitesse avec une médiane de 44 ms par requête
Prend en charge les types de questions 'choix', 'oui_non' et 'score'
Traite les questions par lots
Limite de contexte de 131 072 tokens par question
Poids stockés dans une disposition FP8 personnalisée
Code d'inférence fourni dans `prism.py`
Sous licence Apache 2.0
Premiers pas avec Sarvam-Prism
Télécharger le modèle et le code : Obtenez le modèle Sarvam-Prism et le code associé depuis son dépôt Hugging Face.
Installer les dépendances : Configurez l'environnement Python 3.10+ requis et installez toutes les dépendances nécessaires.
Préparer le matériel : Assurez-vous d'avoir un GPU NVIDIA avec support FP8 et au moins 120 Go de mémoire libre, tel qu'un B200 ou H200.
Charger le modèle : Utilisez `Prism.from_pretrained("sarvamai/prism")` ou chargez le modèle avec `prism.py` comme indiqué.
Formater la requête : Structurez votre entrée avec un `état` (contexte) et des `questions` (carte des noms de questions aux objets de questions), en spécifiant `type`, `instructions` et `critères`.
Exécuter l'inférence : Exécutez le modèle avec votre requête formatée pour recevoir des probabilités pour chaque option de réponse.
Accéder à l'API (optionnel) : Utilisez l'API hébergée par Sarvam si les ressources GPU locales ne sont pas disponibles, en suivant la documentation de l'API.
Cas d'utilisation de Sarvam-Prism
- Prise de Décision Structurée
- Classification de Texte
- Analyse de Sondage
- Réponse à des Questions
- Évaluation de Sentiment
- Vérification de Conformité
- Modération de Contenu
