Beschreibung
Inkling ist ein allgemeines multimodales KI-Modell, das von der Thinking Machines Lab, Inc. entwickelt wurde. Es verfügt über insgesamt 975 Milliarden Parameter, davon 41 Milliarden aktive Parameter, und ist so konzipiert, dass es Text-, Bild- und Audioeingaben akzeptiert und Textausgaben generiert. Das Modell ist für die Verwendung in Englisch und anderen Sprachen gedacht, was es vielseitig für verschiedene Anwendungen macht. Entwickler können Inkling nutzen, um KI-gestützte Anwendungen zu erstellen, einschließlich agentischer und werkzeuggestützter Systeme, Programmierassistenten, Chatbots und Systeme zur retrieval-unterstützten Generierung. Sein Design unterstützt die allgemeine konversationelle Nutzung, das Befolgen von Anweisungen und andere Aufgaben der natürlichen Sprache und multimodalen Aufgaben. Inkling wird mit offenen Gewichten veröffentlicht, die Forschung, Feinabstimmung und Integration in Produkte von Drittanbietern durch nachgelagerte Entwickler ermöglichen.
Weiterlesen
Die Architektur von Inkling basiert auf einem 66-schichtigen Decoder-Only-Transformer mit einem sparsamen Mixture-of-Experts (MoE) Feed-Forward-Rückgrat. Jedes Token wird an sechs von 256 Experten weitergeleitet, wobei zwei gemeinsame Experten bei jedem Token aktiv sind. Das Modell ist nativ multimodal und kodiert Bilder über einen hierarchischen Patch-Encoder und Audio durch diskrete Token-Kodierung. Alle Modalitäten werden in einen gemeinsamen verborgenen Raum projiziert und gemeinsam vom Decoder verarbeitet. Inkling unterstützt ein Kontextfenster von bis zu 1 Million Tokens, was es ihm ermöglicht, umfangreiche Eingabedaten zu verarbeiten.
Inkling ist über API-Zugriff über Tinker, den Dienst zur Feinabstimmung, und über Drittanbieter-Inferenzanbieter verfügbar. Die Gewichte des Modells können von Hugging Face heruntergeladen werden. Für optimale Leistung sind spezifische Hardwarekonfigurationen erforderlich, einschließlich GPU-Clustern mit erheblichem VRAM. Das Modell hat umfangreiche Sicherheitsbewertungen durchlaufen, um Risiken im Zusammenhang mit multimodalen Interaktionen zu mindern und sicherzustellen, dass es keine wesentlichen Vorteile gegenüber bestehenden Modellen mit offenen Gewichten bietet. Benutzer werden jedoch geraten, zusätzliche Sicherheitsvorkehrungen und menschliche Aufsicht zu implementieren, wenn Inkling in risikobehafteten Kontexten eingesetzt wird.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
Inkling Modellkarte im Überblick
Modelltyp: Multimodaler autoregressiver Transformer
API verfügbar: Ja
Lizenz: Apache 2.0
Parameter: 975B insgesamt, 41B aktiv
Unterstützung für Feinabstimmung: Ja
Multimodal: Ja
Numerische Unterstützung: BF16, MXFP8, NVFP4
Kontextfenster: 1M Tokens
Erste Schritte mit Inkling Modellkarte
Modellzugang: Besuchen Sie den Tinker-Dienst für API-Zugriff.
Authentifizierung: Richten Sie Ihr Konto ein und erhalten Sie API-Schlüssel.
Umgebung einrichten: Stellen Sie sicher, dass Ihre Hardware die Anforderungen des Modells erfüllt.
Integration über API: Verwenden Sie die bereitgestellte Dokumentation, um Inkling in Ihre Anwendung zu integrieren.
Optimierung: Feinabstimmung des Modells nach Bedarf für Ihren spezifischen Anwendungsfall.
Inkling Modellkarte's Anwendungsfälle
- Chatbots
- Programmierassistenten
- Multimodale Anwendungen
- Anweisungen befolgen
- Retrieval-unterstützte Generierung
