Beschreibung
GLiDE 27B ist ein anspruchsvolles Entscheidungsmodell mit 27 Milliarden Parametern, das von Fastino entwickelt wurde und darauf ausgelegt ist, probabilistische Antworten auf eingegebene Fragen basierend auf unterschiedlichen Eingabewerten zu liefern. Das Modell glänzt in Szenarien, die präzise Klassifizierung, Routing und Bewertung erfordern, anstatt Text zu generieren. Es verarbeitet Eingabewerte, die Text, JSON und Bilder umfassen können, und bietet eine multimodale Fähigkeit für umfassende Entscheidungsanalysen.
Weiterlesen
Benutzer können mit GLiDE 27B über die gehostete API von Fastino interagieren, die Entscheidungsanfragen über einen POST-Endpunkt unterstützt. Die API ermöglicht verschiedene Fragetypen, einschließlich „Wahl“ (Auswahl einer von bis zu 255 benannten Optionen), „Noul“ (Ja/Nein-Fragen, die P(Ja) zurückgeben) und „Bewertung“ (Zuweisung von geordneten Ebenen). Für jede Frage gibt GLiDE 27B Wahrscheinlichkeiten für jede mögliche Option zurück, die aus einer 255-Wege-Entscheidungsabfrage abgeleitet sind, wobei sichergestellt wird, dass kein generativer Text produziert wird.
Das Modell ist auf Effizienz ausgelegt und führt pro Frage einen Vorwärtsdurchlauf durch und bewertet alle Fragen innerhalb einer Anfrage sowie gleichzeitige Anfragen zusammen in Mikro-Batches. Es unterstützt lange Kontexte und kann standardmäßig bis zu 40.000 Tokens pro Fragenaufforderung verarbeiten, einschließlich Zustand, Frage, Optionen und Bildtokens. Schnittstellen sind über eine Python-API und einen HTTP-Server verfügbar, der im System One-Format kommuniziert.
GLiDE 27B arbeitet mit bf16-Gewichten und benötigt eine GPU mit 80 GB oder mehr Speicher, wie die NVIDIA RTX PRO 6000 Blackwell Server Edition. Es hat eine mediane Latenz von 112 ms pro Anfrage auf dieser Hardware gezeigt. Die Architektur des Modells umfasst ein 51,2 GB großes Sprachmodell, einen 0,92 GB großen Vision-Encoder und eine 2,6 MB große Abfrageausgabe. Fastino bietet ein API-Schlüsselsystem und Dokumentation für eine einfache Integration und Bereitstellung. Das Modell ist unter der Fastino Community License lizenziert, wobei Drittanbieterkomponenten ihre ursprünglichen Lizenzen behalten.
- KategorieKI-Modelle & LLMs
- PreismodellVertrieb kontaktieren
- BereitstellungCloud
- PlattformenWeb
GLiDE 27B im Überblick
27 Milliarden Parameter
Bild-Text-zu-Text Entscheidungsmodell
Eingegebene Entscheidungsfragen (Wahl, Noul, Bewertung)
Probabilistische Ausgaben für jede Option
Keine Textgenerierung (nicht-generativ)
Multimodale Eingabe (Text, JSON, Bilder)
Unterstützung langer Kontexte (bis zu 40.000 Tokens)
Python-API und HTTP-Server-Schnittstellen
Mikro-Batch-Verarbeitung für Effizienz
bf16-Gewichte und -Berechnungen
Benötigt 80 GB+ GPU-Speicher
Gehostete API von Fastino verfügbar
API-Schlüsselauthentifizierung
Unterstützt Inline-Bilder (Daten-URLs, Base64)
Konfigurierbare Batch- und Parallelverarbeitung
Erste Schritte mit GLiDE 27B
API-Schlüssel erhalten: Erhalten Sie einen API-Schlüssel von Fastino, um auf die gehostete GLiDE-API zuzugreifen.
Anfrage vorbereiten: Formatieren Sie Ihre Entscheidungsanfrage mit einem Zustand (Text, JSON oder multimodal mit Bildern) und einer oder mehreren eingegebenen Fragen.
Anfrage senden: Verwenden Sie den Fastino-API-Endpunkt (POST https://api.fastino.ai/v1/systemone) mit dem Modell `fastino/GLiDE`.
Antwort erhalten: Erhalten Sie eine Antwort mit der wahrscheinlichsten Wahl, der Noul-Wahrscheinlichkeit oder der Bewertung sowie Wahrscheinlichkeiten für alle Optionen.
Lokal integrieren (optional): Befolgen Sie die Anweisungen im Repository, um GLiDE 27B lokal mit Python oder einem HTTP-Server auszuführen.
GLiDE 27B's Anwendungsfälle
- Klassifizierungsaufgaben
- Entscheidungsrouting
- Bewertungssysteme
- Multimodale Analyse
- Sentiment-Analyse
- Inhaltsmoderation
- Kundensupport-Triage
- Umfrageanalyse
