Beschreibung
Inkling-Small ist ein allgemeines multimodales Modell, das für die Verarbeitung von Text-, Bild- und Audioeingaben entwickelt wurde und Texte ausgibt. Es eignet sich für die Verwendung in Englisch und anderen Sprachen und unterstützt mehrere Programmiersprachen. Entwickler können Inkling-Small nutzen, um KI-gestützte Anwendungen wie Chatbots, Programmierassistenten und retrieval-augmented generation Systeme zu erstellen. Das Modell wird mit offenen Gewichten veröffentlicht, die Forschung, Feinabstimmung und Integration in Produkte von Drittanbietern ermöglichen.
Weiterlesen
Die Modellarchitektur ist ein 42-schichtiger Decoder-Only-Transformer mit einem sparsamen Mixture-of-Experts Feed-Forward-Rückgrat. Jedes Token wird an 6 von 256 Experten weitergeleitet, plus 2 gemeinsame Experten, die bei jedem Token aktiv sind. Es verfügt über einen hybriden Aufmerksamkeitsmechanismus, der lokale und globale Schichten kombiniert. Inkling-Small ist nativ multimodal und kodiert Bilder über einen hierarchischen Patch-Encoder und Audio über diskrete Token-Kodierung, wobei alle Modalitäten in einen gemeinsamen verborgenen Raum projiziert werden.
Inkling-Small unterstützt die lokale Bereitstellung mit Open-Source-Bibliotheken wie SGLang, vLLM, TokenSpeed, Unsloth und Huggingface. Der API-Zugang ist über Drittanbieter-Inferenzanbieter verfügbar. Die Trainingsdaten des Modells umfassen verschiedene Inhaltstypen, die aus öffentlich verfügbaren Repositories, Drittanbieter-Akquisitionen und synthetischer Generierung stammen.
Sicherheitsbewertungen wurden durchgeführt, um die verantwortungsvolle Nutzung von Inkling-Small über Text-, Audio- und Bild-Eingaben sicherzustellen. Maßnahmen wurden ergriffen, um Risiken zu reduzieren, und gängige Moderationstools können um das Modell herum geschichtet werden, um die Sicherheit zu erhöhen. Zu den Einschränkungen gehören potenzielle Vorurteile und Halluzinationen, die für Grundmodelle typisch sind, sowie eine verschlechterte Leistung in langen Gesprächen. Entwickler werden ermutigt, menschliche Aufsicht und zusätzliche Sicherheitsvorkehrungen für Anwendungen mit hohen Einsätzen anzuwenden.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud, Selbst gehostet
- PlattformenWeb
Inkling-Small im Überblick
Multimodales Modell
Offene Gewichte
API-Zugang
Unterstützung für lokale Bereitstellung
42-schichtiger Transformer
Sparsames Mixture-of-Experts
Hierarchischer Patch-Encoder
Diskrete Token-Kodierung
Erste Schritte mit Inkling-Small
Zugriff auf die Modellseite: Besuchen Sie Hugging Face
Authentifizieren: Zugangsdaten einrichten
Konfigurieren: Modelleinstellungen anpassen
Eingabeaufforderungen senden: Text, Bild oder Audio eingeben
Feinabstimmung: Modellausgaben anpassen
Inkling-Small's Anwendungsfälle
- Chatbots
- Programmierassistenten
- Multimodale Anwendungen
- Befehlsausführung
- Forschung









