Beschreibung
Sarvam-Prism ist ein spezialisiertes Entscheidungsmodell, das von Sarvam entwickelt wurde und auf dem leistungsstarken Sarvam-105B-Rückgrat basiert. Seine Hauptfunktion ist die Textklassifikation, bei der es einen gegebenen Kontext und eine oder mehrere Fragen verarbeitet, die jeweils mit einem festen Satz möglicher Antworten verbunden sind. Im Gegensatz zu generativen KI-Modellen erstellt Sarvam-Prism keinen neuen Text; stattdessen weist es jeder vordefinierten Antwortoption in einem einzigen Vorwärtsdurchgang eine Wahrscheinlichkeit zu, wodurch sichergestellt wird, dass die Ausgabe immer eine der bereitgestellten Auswahlmöglichkeiten ist.
Weiterlesen
Dieses Modell eignet sich besonders für Anwendungen, die präzise, eingeschränkte Entscheidungsfindung erfordern, anstatt offene Textgenerierung. Es funktioniert, indem jede Frage in eine Sequenz umgewandelt wird, die den Zustand, Anweisungen und jede Option enthält, gefolgt von einem Antwortmarker. Ein kleiner Entscheidungs-Head liest dann den verborgenen Zustand am Ende jeder Option und am Antwortmarker, um Wahrscheinlichkeiten für jede Option zu erzeugen. Die Architektur des Modells umfasst spezifische Anpassungen der Aufmerksamkeitsmaske und FP8-Kerne für eine effiziente Inferenz.
Sarvam-Prism ist zum Download verfügbar und kann auf Hugging Face ausgeführt werden, wobei spezifische Hardwareanforderungen wie eine NVIDIA-GPU mit FP8-Unterstützung und etwa 120 GB freiem Speicher (z. B. B200 oder H200) erforderlich sind. Es benötigt auch Python 3.10+ und einen C-Compiler. Für diejenigen ohne die erforderliche Hardware wird Sarvam-Prism auch als gehostete API von Sarvam angeboten, wodurch die Notwendigkeit lokaler GPU-Ressourcen entfällt.
Die Leistung des Modells ist auf Geschwindigkeit optimiert und erreicht eine Medianzeit von 44 ms pro Anfrage auf einer NVIDIA B200, gemessen am öffentlichen Decision Index-Benchmark. Es unterstützt verschiedene Anfrageformate, einschließlich „choice“, „yes_no“ und „score“-Typen, was eine flexible Fragengestaltung ermöglicht. Alle Fragen innerhalb einer Anfrage werden zusammen in Chargen bewertet, wobei jede Frage unabhängig bewertet wird. Die Kontextgrenze ist auf 131.072 Tokens pro Frage festgelegt, was umfangreiche Eingaben ermöglicht.
Die Gewichte werden in einem benutzerdefinierten FP8-Layout gespeichert, was sie mit allgemeinen Inferenzservern oder Standardmodellen wie AutoModelForCausalLM inkompatibel macht. Der Inferenzcode des Modells, einschließlich Eingabecodierung, Aufmerksamkeitsmaske, Entscheidungs-Head und FP8-Kernen, ist in der Datei `prism.py` enthalten. Sarvam-Prism wird unter der Apache 2.0-Lizenz veröffentlicht, was es für eine Vielzahl von Anwendungen zugänglich macht.
- KategorieKI-Modelle & LLMs
- PreismodellFreemium
- BereitstellungCloud, Selbst gehostet
- PlattformenWeb
Sarvam-Prism im Überblick
Textklassifikations-Entscheidungsmodell
Basierend auf dem Sarvam-105B-Rückgrat
Gibt Wahrscheinlichkeiten für vordefinierte Antworten zurück
Generiert keinen Text, wählt nur aus Optionen aus
Zum Download auf Hugging Face verfügbar
Gehostete API von Sarvam verfügbar (keine GPU erforderlich)
Erfordert NVIDIA-GPU mit FP8-Unterstützung (z. B. B200/H200)
Erfordert Python 3.10+ und C-Compiler
Für Geschwindigkeit optimiert mit einer Medianzeit von 44 ms pro Anfrage
Unterstützt die Frageformate 'choice', 'yes_no' und 'score'
Verarbeitet Fragen in Chargen
Kontextgrenze von 131.072 Tokens pro Frage
Gewichte im benutzerdefinierten FP8-Layout gespeichert
Inferenzcode in `prism.py` bereitgestellt
Lizenziert unter Apache 2.0
Erste Schritte mit Sarvam-Prism
Modell und Code herunterladen: Erhalten Sie das Sarvam-Prism-Modell und den zugehörigen Code aus dem Hugging Face-Repository.
Abhängigkeiten installieren: Richten Sie die erforderliche Python 3.10+-Umgebung ein und installieren Sie alle notwendigen Abhängigkeiten.
Hardware vorbereiten: Stellen Sie sicher, dass Sie eine NVIDIA-GPU mit FP8-Unterstützung und mindestens 120 GB freiem Speicher haben, wie z. B. eine B200 oder H200.
Modell laden: Verwenden Sie `Prism.from_pretrained("sarvamai/prism")` oder laden Sie das Modell gemäß den Anweisungen mit `prism.py`.
Anfrage formatieren: Strukturieren Sie Ihre Eingabe mit einem `state` (Kontext) und `questions` (Mapping von Fragenamen zu Frageobjekten), wobei Sie `type`, `instructions` und `criteria` angeben.
Inferenz ausführen: Führen Sie das Modell mit Ihrer formatierten Anfrage aus, um Wahrscheinlichkeiten für jede Antwortoption zu erhalten.
API nutzen (optional): Verwenden Sie die gehostete API von Sarvam, wenn lokale GPU-Ressourcen nicht verfügbar sind, und befolgen Sie die API-Dokumentation.
Sarvam-Prism's Anwendungsfälle
- Strukturierte Entscheidungsfindung
- Textklassifikation
- Umfrageanalyse
- Fragenbeantwortung
- Sentimentbewertung
- Compliance-Prüfung
- Inhaltsmoderation
