Beschreibung
Ling ist eine Familie von Mixture-of-Experts (MoE) großen Sprachmodellen, die von inclusionAI, einer Reihe von Open-Source-AI-Projekten der Ant Group, entwickelt und als Open Source veröffentlicht wurden. Das GitHub-Repository beherbergt den Code, die Dokumentation und Links zu den Modellgewichten und wird aktiv gewartet, mit Commits, die so aktuell sind wie in diesem Monat und 267 Sternen.
Weiterlesen
Das Projekt bietet Modelle in zwei Hauptgrößen an: Ling-lite mit insgesamt 16,8 Milliarden Parametern und 2,75 Milliarden aktivierten Parametern pro Vorwärtsdurchlauf sowie Ling-plus mit insgesamt 290 Milliarden Parametern und 28,8 Milliarden aktivierten. Da Ling eine Mixture-of-Experts-Architektur verwendet, wird nur ein Teil der Parameter für einen bestimmten Input aktiviert, was die Inferenzkosten näher an ein viel kleineres dichtes Modell heranführt, während die Gesamtanzahl der Parameter größer bleibt. Ling-lite unterstützt ein Kontextfenster von 128K Tokens; Ling-plus unterstützt 64K. Eine auf Programmierung fokussierte Variante, Ling-Coder-lite, ist ebenfalls verfügbar und hat ein 16K Kontextfenster.
Die Modellgewichte werden über Hugging Face und ModelScope verteilt (letzteres richtet sich an Benutzer in Festlandchina für schnellere Downloads), mit sowohl Basis- als auch instruktionsoptimierten Checkpoints für die meisten Varianten. Das Repository dokumentiert Benchmark-Ergebnisse im Vergleich zu ähnlichen offenen Modellen wie Qwen3 und LLaMA 3.1 über Aufgaben wie MMLU, HumanEval, LiveCodeBench und mathematische Denkbenchmarks, wobei Ling-lite-1.5 in mehreren Programmier- und Mathematikbenchmarks unter ähnlich großen Modellen wettbewerbsfähige oder führende Ergebnisse zeigt.
Für die Bereitstellung enthält Ling dokumentierte Wege zur Ausführung der Inferenz über die Hugging Face Transformers-Bibliothek, vLLM und Huaweis MindIE, sowie Beispielcode für sowohl Offline-Batch-Inferenz als auch Online-Serving, einschließlich Multi-Maschinen-Setups für das größere Ling-plus-Modell. Das Repository enthält auch Anweisungen zum Feintuning für Teams, die die Modelle an ihre eigenen Daten anpassen möchten.
Ling wird unter der MIT-Lizenz veröffentlicht, und der Code ist kostenlos zu verwenden, zu modifizieren und weiterzugeben. Es richtet sich an Forscher, ML-Ingenieure und Entwickler, die ein offenes LLM selbst hosten oder anpassen möchten, anstatt eine gehostete API zu nutzen, insbesondere an diejenigen, die an Mixture-of-Experts-Architekturen oder programmierungsspezifischen Modellvarianten interessiert sind.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungSelbst gehostet
- PlattformenWeb
Ling's Kernfunktionen
Mixture-of-Experts-Architektur für effiziente Inferenz in großem Maßstab
Mehrere Modellgrößen: Ling-lite (16,8B) und Ling-plus (290B) Gesamtparameter
Ling-Coder-lite-Variante, die für Programmieraufgaben optimiert ist
Kontextfenster von bis zu 128K Tokens (Ling-lite) oder 64K (Ling-plus)
Basis- und instruktionsoptimierte Checkpoints für die meisten Varianten
Gewichte werden über Hugging Face und ModelScope verteilt
Bereitstellungsunterstützung für Transformers, vLLM und MindIE
Dokumentierter Feintuning-Workflow für individuelles Training
MIT-lizenzierter, Open-Source-Code
Erste Schritte mit Ling
Repository klonen: Holen Sie sich den Code von github.com/inclusionAI/Ling
Gewichte herunterladen: Ziehen Sie den benötigten Modell-Checkpoint von Hugging Face oder ModelScope
Abhängigkeiten installieren: Richten Sie Transformers, vLLM oder MindIE gemäß den Bereitstellungsanleitungen des Repos ein
Inferenz ausführen: Verwenden Sie den bereitgestellten Schnellstartcode für Offline- oder Online-Inferenz
Feintuning (optional): Folgen Sie dem Feintuning-Leitfaden, um das Modell an Ihre eigenen Daten anzupassen
Bewerten: Vergleichen Sie die Ausgaben mit den dokumentierten Benchmark-Ergebnissen für Ihren Anwendungsfall
Ling's Anwendungsfälle
- Selbstgehostete LLM-Inferenz
- Forschung zur Programmierunterstützung
- Individuelles Feintuning
- Langzeit-Kontextaufgaben
