Beschreibung
Inkling 2 Mini ist ein vielseitiges multimodales Modell, das entwickelt wurde, um sowohl Text- als auch Bildinputs zu verarbeiten und anschließend Textausgaben zu generieren. Entwickelt von Thinking Machines Lab, Inc., ist dieses Modell für eine breite Anwendbarkeit konzipiert und unterstützt Englisch sowie andere Sprachen sowie mehrere Programmiersprachen. Es eignet sich besonders für Entwickler, die KI-gestützte Anwendungen erstellen, einschließlich agentischer und toolbasierter Systeme, Codierassistenten, Chatbots und retrieval-augmented generation (RAG)-Systeme. Darüber hinaus ist es für allgemeine Konversationsnutzung, das Befolgen von Anweisungen und verschiedene Aufgaben in natürlicher Sprache und visuellen Aufgaben geeignet.
Weiterlesen
Das Modell wird mit offenen Gewichten unter einer Apache 2.0-Lizenz veröffentlicht, die Forschung, Feinabstimmung und Integration in Produkte von Drittanbietern durch nachgelagerte Entwickler fördert. Es wird als ein einzelner Checkpoint von etwa 20 GB verteilt, der gemischte NVFP4- und MXFP8-Präzisionen nutzt. Diese kompakte Größe ermöglicht lokale Inferenz auf kompatibler Hardware, einschließlich 1x NVIDIA DGX Spark, Apple Silicon-Geräten mit 32 GB oder mehr Speicher (MacBooks, Mac minis, Studios) und anderen GPUs mit empfohlenen 32 GB oder mehr VRAM.
Inkling 2 Mini unterstützt lokale Inferenz durch mehrere Frameworks, einschließlich Hugging Face, SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, Unsloth (einschließlich quantisierter GGUF-Versionen), llama.cpp (für quantisierte GGUF-Versionen), Llama App, Ollama und Exo Labs (auf Apple Silicon). Es kann auch mit Miles und SkyRL nachtrainiert werden. Das Modell verfügt über eine 24-schichtige Decoder-Only-Transformer-Architektur mit spärlichen Mixture-of-Experts (MoE) Feed-Forward-Schichten. Die mittleren 12 Schichten laufen dreimal mit gemeinsamen Gewichten, was effektiv 48 Schichtanwendungen pro Token aus 24 Schichten von Gewichten bereitstellt. Jede Schicht leitet Tokens an 8 von 128 Experten weiter, und die Aufmerksamkeit ist eine Hybridform aus lokalen und globalen Schichten. Bilder werden über einen Vision-Transformer kodiert, wobei Bild- und Texteingaben in einen gemeinsamen verborgenen Raum projiziert werden, um eine gemeinsame Verarbeitung durch den Decoder zu ermöglichen. Das Modell hat 26,4 Milliarden Parameter, davon 3,4 Milliarden aktive Parameter, und unterstützt ein Kontextfenster von bis zu 1 Million Tokens.
Die Trainingsdaten für Inkling 2 Mini umfassen eine Vielzahl von Inhaltstypen, einschließlich Text, Bilder und Videos, die aus öffentlich verfügbaren Repositories, Drittanbieterakquisitionen, interner Generierung und synthetischer Augmentation stammen. Die Datenaufbereitung umfasst das Bereinigen, Verarbeiten und Modifizieren von Datensätzen, einschließlich Duplikatentfernung und Qualitäts- sowie Sicherheitsfilterung. Sicherheitsbewertungen wurden durchgeführt, die alltägliche Mensch-KI-Interaktionen und Tests gefährlicher Fähigkeiten abdeckten, wobei Milderungen durch Ausrichtungs-Training angewendet wurden. Zu den Einschränkungen des Modells gehören potenzielle Halluzinationen, gelegentliche Fehler beim Befolgen von Anweisungen, verschlechterte Leistung in langen Gesprächen und Vorurteile aus den Trainingsdaten. Es ist weniger leistungsfähig als größere Modelle bei der Faktenwiedergabe und bei wissensintensiven Fragen und kann wiederholtes Denken oder agentische Unzuverlässigkeit zeigen, insbesondere in nicht-englischen Sprachen. Entwicklern wird geraten, menschliche Aufsicht anzuwenden, agentische Arbeitslasten in Sandboxes auszuführen und unabhängige Bewertungen vor der Bereitstellung durchzuführen.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungLäuft lokal
- PlattformenWeb
Inkling 2 Mini im Überblick
Multimodale Eingabe: Akzeptiert sowohl Text- als auch Bildinputs zur Verarbeitung.
Textausgabegenerierung: Produziert Textausgaben basierend auf multimodalen Eingaben.
Allzweckmodell: Entwickelt für eine breite Palette von Anwendungen und Aufgaben.
Mehrsprachige Unterstützung: Funktioniert in Englisch und anderen Sprachen.
Unterstützung mehrerer Programmiersprachen: Kompatibel mit verschiedenen Programmierumgebungen.
Offene Gewichte: Verfügbar zum Herunterladen und Verwenden mit offenen Gewichten.
Apache 2.0 Lizenz: Bietet Flexibilität für Forschung, Feinabstimmung und Integration.
Entwicklerfokussiert: Vorgesehen für den Aufbau von KI-gestützten Anwendungen.
Unterstützung agentischer Systeme: Geeignet für die Entwicklung agentischer und toolbasierter Systeme.
Fähigkeit als Codierassistent: Kann zur Erstellung von Codierassistenten verwendet werden.
Chatbot-Integration: Erleichtert die Entwicklung von Chatbots.
Retrieval-Augmented Generation (RAG) Systeme: Unterstützt die Erstellung von RAG-Systemen.
Lokale Inferenzfähigkeit: Kann auf lokaler KI-Hardware mit spezifizierter Hardware betrieben werden.
Umfangreiche Framework-Unterstützung: Kompatibel mit Hugging Face, SGLang, vLLM und mehr.
Nachtrainierungsoptionen: Kann mit Miles und SkyRL nachtrainiert werden.
Großes Kontextfenster: Unterstützt bis zu 1 Million Tokens.
Erste Schritte mit Inkling 2 Mini
Modellgewichte herunterladen: Greifen Sie auf die Inkling 2 Mini-Gewichte von Hugging Face zu und laden Sie sie herunter.
Zugriff über die Tinker-Plattform: Nutzen Sie die Tinker-Plattform zur Feinabstimmung für API-Zugriff und Modellinteraktion.
Tinker-Renderer installieren: Installieren Sie das tml-renderers-Paket für die Integration in die Tinker-Plattform.
Lokale Hardware konfigurieren: Stellen Sie sicher, dass die erforderliche Hardware (z. B. NVIDIA DGX Spark, Apple Silicon mit 32 GB+ Speicher) verfügbar ist.
Software-Frameworks installieren: Richten Sie unterstützte lokale Inferenz-Frameworks wie Hugging Face, SGLang oder llama.cpp ein.
Inferenz ausführen: Führen Sie das Modell lokal mit den gewählten Frameworks zur Textgenerierung aus Bild- und Texteingaben aus.
Inkling 2 Mini's Anwendungsfälle
- Entwicklung von KI-Anwendungen
- Erstellung agentischer Systeme
- Codierassistent-Tools
- Chatbot-Implementierung
- Retrieval-Augmented Generation
- Allgemeine konversationelle KI
- Verarbeitung natürlicher Sprache
- Verarbeitung visueller Aufgaben
- Modellfeinabstimmung
- Integration in Produkte von Drittanbietern







