Description
Ling est une famille de modèles de langage à mélange d'experts (MoE) de grande taille développée et open-sourcée par inclusionAI, une série de projets d'IA open-source d'Ant Group. Le dépôt GitHub héberge le code, la documentation et des liens vers les poids des modèles, et est activement maintenu, avec des commits aussi récents que ce mois-ci et 267 étoiles.
Lire la suite
Le projet propose des modèles en deux tailles principales : Ling-lite, avec 16,8 milliards de paramètres au total et 2,75 milliards de paramètres activés par passage avant, et Ling-plus, avec 290 milliards de paramètres au total et 28,8 milliards activés. Étant donné que Ling utilise une architecture à mélange d'experts, seul un sous-ensemble de paramètres s'active pour une entrée donnée, ce qui maintient le coût d'inférence plus proche d'un modèle dense beaucoup plus petit tout en conservant un nombre total de paramètres plus élevé. Ling-lite prend en charge une fenêtre de contexte de 128K tokens ; Ling-plus prend en charge 64K. Une variante axée sur le codage, Ling-Coder-lite, est également disponible avec une fenêtre de contexte de 16K.
Les poids des modèles sont distribués via Hugging Face et ModelScope (ce dernier étant destiné aux utilisateurs de la Chine continentale pour des téléchargements plus rapides), avec des points de contrôle de base et ajustés par instruction pour la plupart des variantes. Le dépôt documente les résultats de référence par rapport à des modèles open-source comparables tels que Qwen3 et LLaMA 3.1 sur des tâches incluant MMLU, HumanEval, LiveCodeBench et des benchmarks de raisonnement mathématique, où Ling-lite-1.5 montre des scores compétitifs ou de premier plan sur plusieurs benchmarks de codage et de mathématiques parmi des modèles de taille similaire.
Pour le déploiement, Ling inclut des chemins documentés pour exécuter l'inférence via la bibliothèque Hugging Face Transformers, vLLM et MindIE de Huawei, ainsi que du code d'exemple pour l'inférence par lot hors ligne et le service en ligne, y compris des configurations multi-machines pour le modèle plus grand Ling-plus. Le dépôt comprend également des instructions de fine-tuning pour les équipes souhaitant adapter les modèles à leurs propres données.
Ling est publié sous la licence MIT, et le code est libre d'utilisation, de modification et de redistribution. Il s'adresse aux chercheurs, ingénieurs ML et développeurs qui souhaitent auto-héberger ou personnaliser un LLM open-source plutôt que d'appeler une API hébergée, en particulier ceux intéressés par les architectures à mélange d'experts ou les variantes de modèles spécifiques au codage.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementAuto-hébergé
- PlateformesWeb
Fonctionnalités principales de Ling
Architecture à mélange d'experts pour une inférence efficace à grande échelle
Plusieurs tailles de modèles : Ling-lite (16,8B) et Ling-plus (290B) paramètres au total
Variante Ling-Coder-lite ajustée pour les tâches de codage
Fenêtres de contexte allant jusqu'à 128K tokens (Ling-lite) ou 64K (Ling-plus)
Points de contrôle de base et ajustés par instruction pour la plupart des variantes
Poids distribués via Hugging Face et ModelScope
Support de déploiement pour Transformers, vLLM et MindIE
Flux de travail de fine-tuning documenté pour un entraînement personnalisé
Code open-source sous licence MIT
Premiers pas avec Ling
Cloner le dépôt : obtenir le code depuis github.com/inclusionAI/Ling
Télécharger les poids : récupérer le point de contrôle du modèle dont vous avez besoin depuis Hugging Face ou ModelScope
Installer les dépendances : configurer Transformers, vLLM ou MindIE selon les guides de déploiement du dépôt
Exécuter l'inférence : utiliser le code de démarrage rapide fourni pour l'inférence hors ligne ou en ligne
Fine-tuner (optionnel) : suivre le guide de fine-tuning pour adapter le modèle à vos propres données
Évaluer : comparer les sorties avec les résultats de référence documentés pour votre cas d'utilisation
Cas d'utilisation de Ling
- Inférence LLM auto-hébergée
- Recherche d'assistance au codage
- Fine-tuning personnalisé
- Tâches à long contexte
