Description
LiquidAI LFM2.5-2.6B fait partie de la famille LFM2.5, une série de modèles hybrides conçus pour le déploiement sur appareil. S'appuyant sur l'architecture LFM2, il dispose d'une fenêtre de contexte de 128K et d'un post-entraînement agentique, le rendant compétitif par rapport à des modèles quatre fois plus grands en matière d'utilisation d'outils, de suivi d'instructions et de tâches agentiques à plusieurs étapes.
Lire la suite
Le modèle offre des capacités d'inférence efficaces, atteignant 220 tokens par seconde sur un Apple M5 Max et 113 tokens par seconde sur un processeur AMD Ryzen, le tout avec une empreinte mémoire de moins de 2,5 Go. C'est un modèle généraliste uniquement textuel avec 2,69 milliards de paramètres, 30 couches et une taille de vocabulaire de 128 000. Le modèle prend en charge un large éventail de langues, y compris l'anglais, l'arabe, le chinois, le français, et plus encore.
LFM2.5-2.6B est disponible dans divers formats, tels que le modèle de base pour le fine-tuning, un format quantifié pour l'inférence CPU, et un format ONNX Runtime pour le déploiement multiplateforme. Il est optimisé pour une inférence rapide sur Apple Silicon en utilisant le cadre MLX et prend en charge le décodage spéculatif pour des sorties plus rapides.
Le modèle est recommandé pour les charges de travail agentiques, l'utilisation d'outils, l'extraction de données et les flux de travail à long contexte, bien qu'il ne soit pas idéal pour le codage agentique et les tâches nécessitant beaucoup de connaissances. Il prend en charge l'appel de fonctions dans les flux de travail agentiques, permettant une intégration transparente dans les systèmes existants. Le fine-tuning est encouragé pour obtenir des résultats optimaux pour des cas d'utilisation spécifiques.
LFM2.5-2.6B a été évalué par rapport à d'autres modèles de moins de 10 milliards, démontrant des performances compétitives sur divers indicateurs. Son architecture efficace permet une inférence rapide sur CPU et GPU, le rendant adapté à un large éventail d'applications.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud, Auto-hébergé
- PlateformesWeb, macOS, Windows
Points forts de LiquidAI LFM2.5-2.6B
Modèle hybride pour déploiement sur appareil
Fenêtre de contexte de 128K
Post-entraînement agentique
Inférence efficace
2,69 milliards de paramètres
Prend en charge plusieurs langues
Disponible dans divers formats
Optimisé pour Apple Silicon
Premiers pas avec LiquidAI LFM2.5-2.6B
Accéder à la page du modèle : Visitez le site Web de Hugging Face
S'authentifier : Connectez-vous à votre compte Hugging Face
Configurer : Configurez le modèle pour votre cas d'utilisation spécifique
Envoyer des invites : Utilisez le modèle pour l'inférence ou les flux de travail agentiques
Cas d'utilisation de LiquidAI LFM2.5-2.6B
- Flux de travail agentiques
- Extraction de données
- Utilisation d'outils
- Tâches à long contexte
- Déploiement multiplateforme
