Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

Granite Switch 4.1 30B

LLMsKI-Modelle & LLMsOpen Source · Web

Granite Switch 4.1 30B ist ein modulares großes Sprachmodell (LLM), das für verschiedene KI-Anwendungen entwickelt wurde. Es integriert ein Basis-Modell mit mehreren Adaptern und einem Encoder, wodurch ein einzelner gehosteter Endpunkt natürliche Sprachantworten, allgemeine und spezialisierte Entscheidungen sowie mehrsprachige Sprach-zu-Text-Transkription verarbeiten kann. Dieses Modell bietet Flexibilität und umfassende Fähigkeiten für Entwickler.

URL besuchen
Teilen
Screenshot von Granite Switch 4.1 30B
Screenshot von Granite Switch 4.1 30B

Granite Switch 4.1 30B ist ein anspruchsvolles modulares großes Sprachmodell (LLM), das von IBM entwickelt wurde und auf Hugging Face verfügbar ist. Dieses Modell ist darauf ausgelegt, eine vielseitige Lösung für verschiedene KI-Aufgaben zu bieten, indem es ein Basis-Modell mit 30 Milliarden Parametern mit spezialisierten Adaptern und einem eingebetteten Sprach-zu-Text-Encoder kombiniert. Diese Architektur ermöglicht es einem einzigen gehosteten Endpunkt, nahtlos zwischen verschiedenen Funktionen zu wechseln, einschließlich der Generierung natürlicher Sprache, der Durchführung allgemeiner und spezialisierter Entscheidungen sowie der Transkription von Sprache in Text.

Weiterlesen

Das Herzstück von Granite Switch 4.1 30B ist das ibm-granite/granite-4.1-30b Basis-Modell, das über ein Kontextfenster von 128K verfügt. Es wird durch zwei Hauptadapter ergänzt: einen 'decision' aLoRA für allgemeine Entscheidungsfindung und einen 'guardian-core' aLoRA zur Erkennung von Sicherheitsrisiken wie Schaden, Jailbreaking, Obszönität, Gewalt, sexuelle Inhalte, soziale Vorurteile und unethisches Verhalten. Diese Adapter werden auf Abruf mithilfe von Steuerungstokens innerhalb der Chat-Vorlage aktiviert, was eine dynamische Funktionalität bietet.

Ein zentrales Merkmal dieses Modells ist die integrierte Sprach-zu-Text-Funktionalität, die von ibm-granite/granite-speech-5.0-470m-turboctc unterstützt wird. Dieser Encoder unterstützt die Transkription in sieben Sprachen: Englisch, Französisch, Deutsch, Spanisch, Portugiesisch, Italienisch und Japanisch und gibt punktierte und großgeschriebene Transkripte aus. Das bedeutet, dass Audioeingaben direkt am selben Endpunkt wie Chat- und Entscheidungsaufgaben verarbeitet werden können, wodurch die Notwendigkeit eines separaten Sprachservers entfällt.

Granite Switch 4.1 30B ist unter der Apache 2.0-Lizenz lizenziert und unterstützt Backends wie HuggingFace Transformers und vLLM. Es ist für Entwickler und Organisationen konzipiert, die fortschrittliche Sprach-, Entscheidungs- und Sprachverarbeitungsfunktionen in ihre Anwendungen integrieren möchten. Das Modell ist auch in anderen Konfigurationen erhältlich, einschließlich einer 8B-Basisversion und vollständigen Granite Libraries-Bundles. Ethische Überlegungen betonen die Notwendigkeit von Sicherheitstests und -überwachungen auf Anwendungsebene, da der integrierte guardian-core-Adapter eine zusätzliche Sicherheitsebene bietet, jedoch keinen Ersatz für umfassende Bereitstellungsschutzmaßnahmen darstellt.

  • KategorieKI-Modelle & LLMs
  • PreismodellOpen Source
  • BereitstellungCloud
  • PlattformenWeb

  • Modulare LLM-Architektur mit Basis-Modell und Adaptern

  • 30 Milliarden Parameter für das Basis-Modell

  • 128K Token Kontextfenster

  • Entscheidungsadapter (aLoRA) für allgemeine Entscheidungen

  • Guardian-Core-Adapter (aLoRA) zur Erkennung von Sicherheitsrisiken

  • Integrierter mehrsprachiger Sprach-zu-Text (ASR) Encoder

  • Unterstützt Englisch, Französisch, Deutsch, Spanisch, Portugiesisch, Italienisch, Japanisch für ASR

  • Automatische Spracherkennung für Audioeingaben

  • Einzelner gehosteter Endpunkt für Chat, Entscheidungen und Sprach-zu-Text

  • Adapter auf Abruf über Steuerungstokens aktiviert

  • Kompatibel mit HuggingFace Transformers und vLLM-Backends

  • Apache 2.0 Lizenz

  • KV-Cache-Normalisierung für Adapter

  • Keine gemeinsame Schulung von Adaptern, was eine unabhängige Entwicklung ermöglicht

  • Einzelner Checkpoint für HuggingFace und vLLM ohne Konvertierung

  1. Modellzugriff: Navigieren Sie zur ibm-granite/granite-switch-4.1-30b Seite auf Hugging Face.

  2. Abhängigkeiten installieren: Stellen Sie sicher, dass Python (>=3.11, <3.14), granite-switch (>=0.1.1), PyTorch (>=2.11.0) und Transformers (>=5.16, <=5.17.0) installiert sind.

  3. Modell laden: Verwenden Sie die HuggingFace Transformers-Bibliothek, um das Modell zu laden und die gewünschte Revision anzugeben, falls nicht die neueste.

  4. Adapter aktivieren: Übergeben Sie den Adapternamen (z.B. 'guardian-core', 'decision') an die Chat-Vorlage über `chat_template_kwargs` in Ihrer Anfrage.

  5. Audioeingaben verarbeiten: Setzen Sie `asr_enabled: true` in `config.json`, um die Sprach-zu-Text-Transkription für Audioeingaben zu aktivieren.

  6. Eingabeaufforderungen senden: Erstellen Sie Eingabeaufforderungen für die Textgenerierung, Entscheidungsfindung oder Sprachtranskription unter Verwendung der aktivierten Adapter.

  7. Ausgaben interpretieren: Lesen Sie für Entscheidungsadapter kalibrierte Wahrscheinlichkeiten über Optionsbezeichnungen; für guardian-core analysieren Sie das JSON-Urteil.

  • Mehrsprachige Chatbots
  • Automatisierte Entscheidungssysteme
  • Inhaltsmoderation
  • Sprachtranskriptionsdienste
  • Intelligente virtuelle Assistenten
  • Sprachverständnis
  • KI-gestützter Kundenservice

Von IBM

Ein Modell in Granite Switch 4.1 8B.

Granite Switch 4.1 30B Bewertungen

Wird geladen...

Beliebte KI-Tools wie Granite Switch 4.1 30B

Granite Switch 4.1 8B ist ein modulares LLM, das ein Basismodell, mehrere Adapter und einen Encoder integriert, um natürliche Sprachantworten, Entscheidungsfindung und…

KI-Modelle & LLMs

Platz 18 in LLMs

Tool ansehen

Modulares LLM, das ein Basismodell, mehrere Adapter und einen Encoder integriert, um natürliche Sprachantworten, Entscheidungsfindung und…Granite Switch 4.1 8B ist ein modulares LLM, das ein Basismodell, mehrere Adapter und einen Encoder integriert, um natürliche Sprachantworten, Entscheidungsfindung und…

KI-Modelle & LLMs
Platz 18 in LLMs

Apertus 1.5 ist eine Familie von mehrsprachigen, multimodalen Sprachmodellen, die entwickelt wurden, um eine breite Palette von Sprachen und Kontexten zu unterstützen. Es bietet…

KI-Modelle & LLMs
Tool ansehen

Familie von mehrsprachigen, multimodalen Sprachmodellen, die entwickelt wurden, um eine breite Palette von Sprachen und Kontexten zu unterstützen. Es bietet…Apertus 1.5 ist eine Familie von mehrsprachigen, multimodalen Sprachmodellen, die entwickelt wurden, um eine breite Palette von Sprachen und Kontexten zu unterstützen. Es bietet…

KI-Modelle & LLMs
Top 50 LLMs ansehen

LiquidAI LFM3-1.7B ist ein Textmodell, das für lokale Agenten und spezialisierte Anwendungen entwickelt wurde. Es verfügt über eine tri-hybride Architektur und unterstützt ein…

KI-Modelle & LLMs
Tool ansehen

Textmodell, das für lokale Agenten und spezialisierte Anwendungen entwickelt wurde. Es verfügt über eine tri-hybride Architektur und unterstützt ein…LiquidAI LFM3-1.7B ist ein Textmodell, das für lokale Agenten und spezialisierte Anwendungen entwickelt wurde. Es verfügt über eine tri-hybride Architektur und unterstützt ein…

KI-Modelle & LLMs
Top 50 LLMs ansehen

DeepSeek ist ein KI-Forschungsunternehmen, das sich der Entwicklung allgemeiner künstlicher Intelligenz widmet. Es bietet Open-Source-Frontier-LLMs wie DeepSeek-V4, DeepSeek-R1…

KI-Modelle & LLMs

Platz 2 in LLMs

Tool ansehen

KI-Forschungsunternehmen, das sich der Entwicklung allgemeiner künstlicher Intelligenz widmet. Es bietet Open-Source-Frontier-LLMs wie DeepSeek-V4, DeepSeek-R1…DeepSeek ist ein KI-Forschungsunternehmen, das sich der Entwicklung allgemeiner künstlicher Intelligenz widmet. Es bietet Open-Source-Frontier-LLMs wie DeepSeek-V4, DeepSeek-R1…

EmpfohlenKI-Modelle & LLMs
Platz 2 in LLMs

Olmo von Ai2 ist ein vollständig offenes Sprachmodell, das für fortgeschrittene KI-Forschung und Anwendungen entwickelt wurde. Es bietet verschiedene Modellvarianten, die für…

KI-Modelle & LLMs
Tool ansehen

Vollständig offenes Sprachmodell, das für fortgeschrittene KI-Forschung und Anwendungen entwickelt wurde. Es bietet verschiedene Modellvarianten, die für…Olmo von Ai2 ist ein vollständig offenes Sprachmodell, das für fortgeschrittene KI-Forschung und Anwendungen entwickelt wurde. Es bietet verschiedene Modellvarianten, die für…

EmpfohlenKI-Modelle & LLMs
Top 50 LLMs ansehen

Mixtral-8x22B-Instruct-v0.1 ist ein großes Sprachmodell, das für instructional Aufgaben feinabgestimmt wurde. Es unterstützt Funktionsaufrufe und integriert sich mit Hugging Face…

KI-Modelle & LLMs
Tool ansehen

Großes Sprachmodell, das für instructional Aufgaben feinabgestimmt wurde. Es unterstützt Funktionsaufrufe und integriert sich mit Hugging Face…Mixtral-8x22B-Instruct-v0.1 ist ein großes Sprachmodell, das für instructional Aufgaben feinabgestimmt wurde. Es unterstützt Funktionsaufrufe und integriert sich mit Hugging Face…

KI-Modelle & LLMs
Top 50 LLMs ansehen

AliceAI-Foundation-80B-A3B-Base ist ein grundlegendes Sprachmodell mit einer hybriden Architektur und MoE-Schichten, das über 80 Milliarden Parameter verfügt. Es glänzt bei…

KI-Modelle & LLMs

Platz 30 in LLMs

Tool ansehen

Grundlegendes Sprachmodell mit einer hybriden Architektur und MoE-Schichten, das über 80 Milliarden Parameter verfügt. Es glänzt bei…AliceAI-Foundation-80B-A3B-Base ist ein grundlegendes Sprachmodell mit einer hybriden Architektur und MoE-Schichten, das über 80 Milliarden Parameter verfügt. Es glänzt bei…

KI-Modelle & LLMs
Platz 30 in LLMs

Falcon3-10B-Instruct ist ein hochmodernes Sprachmodell, das für Aufgaben in den Bereichen Denken, Sprachverständnis und Befolgen von Anweisungen entwickelt wurde. Es unterstützt…

KI-Modelle & LLMs
Tool ansehen

Hochmodernes Sprachmodell, das für Aufgaben in den Bereichen Denken, Sprachverständnis und Befolgen von Anweisungen entwickelt wurde. Es unterstützt…Falcon3-10B-Instruct ist ein hochmodernes Sprachmodell, das für Aufgaben in den Bereichen Denken, Sprachverständnis und Befolgen von Anweisungen entwickelt wurde. Es unterstützt…

KI-Modelle & LLMs
Top 50 LLMs ansehen
1 von 8