Beschreibung
Granite Switch 4.1 30B ist ein anspruchsvolles modulares großes Sprachmodell (LLM), das von IBM entwickelt wurde und auf Hugging Face verfügbar ist. Dieses Modell ist darauf ausgelegt, eine vielseitige Lösung für verschiedene KI-Aufgaben zu bieten, indem es ein Basis-Modell mit 30 Milliarden Parametern mit spezialisierten Adaptern und einem eingebetteten Sprach-zu-Text-Encoder kombiniert. Diese Architektur ermöglicht es einem einzigen gehosteten Endpunkt, nahtlos zwischen verschiedenen Funktionen zu wechseln, einschließlich der Generierung natürlicher Sprache, der Durchführung allgemeiner und spezialisierter Entscheidungen sowie der Transkription von Sprache in Text.
Weiterlesen
Das Herzstück von Granite Switch 4.1 30B ist das ibm-granite/granite-4.1-30b Basis-Modell, das über ein Kontextfenster von 128K verfügt. Es wird durch zwei Hauptadapter ergänzt: einen 'decision' aLoRA für allgemeine Entscheidungsfindung und einen 'guardian-core' aLoRA zur Erkennung von Sicherheitsrisiken wie Schaden, Jailbreaking, Obszönität, Gewalt, sexuelle Inhalte, soziale Vorurteile und unethisches Verhalten. Diese Adapter werden auf Abruf mithilfe von Steuerungstokens innerhalb der Chat-Vorlage aktiviert, was eine dynamische Funktionalität bietet.
Ein zentrales Merkmal dieses Modells ist die integrierte Sprach-zu-Text-Funktionalität, die von ibm-granite/granite-speech-5.0-470m-turboctc unterstützt wird. Dieser Encoder unterstützt die Transkription in sieben Sprachen: Englisch, Französisch, Deutsch, Spanisch, Portugiesisch, Italienisch und Japanisch und gibt punktierte und großgeschriebene Transkripte aus. Das bedeutet, dass Audioeingaben direkt am selben Endpunkt wie Chat- und Entscheidungsaufgaben verarbeitet werden können, wodurch die Notwendigkeit eines separaten Sprachservers entfällt.
Granite Switch 4.1 30B ist unter der Apache 2.0-Lizenz lizenziert und unterstützt Backends wie HuggingFace Transformers und vLLM. Es ist für Entwickler und Organisationen konzipiert, die fortschrittliche Sprach-, Entscheidungs- und Sprachverarbeitungsfunktionen in ihre Anwendungen integrieren möchten. Das Modell ist auch in anderen Konfigurationen erhältlich, einschließlich einer 8B-Basisversion und vollständigen Granite Libraries-Bundles. Ethische Überlegungen betonen die Notwendigkeit von Sicherheitstests und -überwachungen auf Anwendungsebene, da der integrierte guardian-core-Adapter eine zusätzliche Sicherheitsebene bietet, jedoch keinen Ersatz für umfassende Bereitstellungsschutzmaßnahmen darstellt.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
Granite Switch 4.1 30B im Überblick
Modulare LLM-Architektur mit Basis-Modell und Adaptern
30 Milliarden Parameter für das Basis-Modell
128K Token Kontextfenster
Entscheidungsadapter (aLoRA) für allgemeine Entscheidungen
Guardian-Core-Adapter (aLoRA) zur Erkennung von Sicherheitsrisiken
Integrierter mehrsprachiger Sprach-zu-Text (ASR) Encoder
Unterstützt Englisch, Französisch, Deutsch, Spanisch, Portugiesisch, Italienisch, Japanisch für ASR
Automatische Spracherkennung für Audioeingaben
Einzelner gehosteter Endpunkt für Chat, Entscheidungen und Sprach-zu-Text
Adapter auf Abruf über Steuerungstokens aktiviert
Kompatibel mit HuggingFace Transformers und vLLM-Backends
Apache 2.0 Lizenz
KV-Cache-Normalisierung für Adapter
Keine gemeinsame Schulung von Adaptern, was eine unabhängige Entwicklung ermöglicht
Einzelner Checkpoint für HuggingFace und vLLM ohne Konvertierung
Erste Schritte mit Granite Switch 4.1 30B
Modellzugriff: Navigieren Sie zur ibm-granite/granite-switch-4.1-30b Seite auf Hugging Face.
Abhängigkeiten installieren: Stellen Sie sicher, dass Python (>=3.11, <3.14), granite-switch (>=0.1.1), PyTorch (>=2.11.0) und Transformers (>=5.16, <=5.17.0) installiert sind.
Modell laden: Verwenden Sie die HuggingFace Transformers-Bibliothek, um das Modell zu laden und die gewünschte Revision anzugeben, falls nicht die neueste.
Adapter aktivieren: Übergeben Sie den Adapternamen (z.B. 'guardian-core', 'decision') an die Chat-Vorlage über `chat_template_kwargs` in Ihrer Anfrage.
Audioeingaben verarbeiten: Setzen Sie `asr_enabled: true` in `config.json`, um die Sprach-zu-Text-Transkription für Audioeingaben zu aktivieren.
Eingabeaufforderungen senden: Erstellen Sie Eingabeaufforderungen für die Textgenerierung, Entscheidungsfindung oder Sprachtranskription unter Verwendung der aktivierten Adapter.
Ausgaben interpretieren: Lesen Sie für Entscheidungsadapter kalibrierte Wahrscheinlichkeiten über Optionsbezeichnungen; für guardian-core analysieren Sie das JSON-Urteil.
Granite Switch 4.1 30B's Anwendungsfälle
- Mehrsprachige Chatbots
- Automatisierte Entscheidungssysteme
- Inhaltsmoderation
- Sprachtranskriptionsdienste
- Intelligente virtuelle Assistenten
- Sprachverständnis
- KI-gestützter Kundenservice














