Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

llama-modchip

llama-modchip est un projet GitHub permettant aux utilisateurs d'exécuter de grands modèles de langage comme 284B DeepSeek-V4-Flash et 30B MoEs sur un CPU pur de 64 Go sans GPU. Il prend en charge des taux élevés de tokens par seconde et une fenêtre de contexte de 256K, intégrant des fonctionnalités avancées telles que SwiGLU-H2 et la restauration de code Claude pour un déploiement et une expérimentation efficaces et accessibles des modèles d'IA.

Voir le dépôt
Partager
Voir le dépôt
Partager

llama-modchip est un projet GitHub open-source conçu pour optimiser l'exécution de grands modèles de langage (LLMs) sur du matériel CPU conventionnel, ciblant spécifiquement les systèmes avec 64 Go de RAM et sans GPU dédiés. Le projet démontre la capacité d'exécuter des modèles tels que le 284B DeepSeek-V4-Flash avec moins de 59GiB de RAM, atteignant des performances impressionnantes comme 44,4 tokens par seconde (pp) et 9,1-14,7 tokens par seconde au total. Il prend également en charge les modèles 30B Mixture of Experts (MoE), offrant des vitesses comprises entre 25 et 111 tokens par seconde.

Lire la suite

L'innovation principale de llama-modchip réside dans sa capacité à exploiter efficacement les ressources CPU, fournissant une solution rentable et accessible pour les chercheurs, développeurs et passionnés qui n'ont pas accès à une infrastructure GPU haut de gamme. Cela est particulièrement significatif pour les modèles nécessitant une grande fenêtre de contexte, car le projet prend en charge jusqu'à 256K de contexte, permettant des capacités étendues de traitement de conversations ou de documents.

Au-delà des performances brutes, llama-modchip intègre plusieurs fonctionnalités avancées et optimisations. Celles-ci incluent SwiGLU-H2, une fonction d'activation très efficace, et Stockfish-PVS L3, qui fait probablement référence à un algorithme de recherche ou une structure de données optimisée, améliorant les capacités de raisonnement ou de traitement du modèle. Le projet met également en avant une fonctionnalité de "restauration de code Claude en 13 ms", suggérant une récupération rapide ou une intégration de fonctionnalités liées au code, améliorant potentiellement les flux de travail de développement ou les tâches de génération de code.

La structure du dépôt indique un développement continu et un accent sur divers aspects du déploiement et de l'optimisation des modèles. Des répertoires comme `apple-silicon` suggèrent des optimisations spécifiques pour les puces M-series d'Apple, tandis que `benchmarks` et `docs` fournissent des données de performance et des explications détaillées. La présence de dossiers `patches` et `speculative` indique des efforts de raffinement continu et de renforcement de la sécurité. Dans l'ensemble, llama-modchip vise à repousser les limites de ce qui est possible avec l'inférence LLM uniquement sur CPU, rendant les modèles d'IA avancés plus largement disponibles.

  • CatégorieMLOps et déploiement de modèles
  • Modèle tarifaireOpen source
  • DéploiementAuto-hébergé
  • PlateformesLinux, Windows

  • Exécuter 284B DeepSeek-V4-Flash sur un CPU de 64 Go

  • Atteindre 44,4 tokens/s pp pour DeepSeek-V4-Flash

  • Prendre en charge les modèles 30B Mixture of Experts (MoE)

  • Fonctionner avec une fenêtre de contexte de 256K sur CPU

  • Utiliser l'optimisation SwiGLU-H2

  • Intégrer Stockfish-PVS L3

  • Proposer une restauration de code Claude en 13 ms

  • Optimisé pour une utilisation de RAM inférieure à 59GiB

  • Inclut des optimisations spécifiques pour Apple Silicon

  • Fournit des benchmarks et une documentation détaillée

  • Offre un renforcement de la sécurité et des correctifs

  • Prend en charge divers systèmes d'exploitation (par exemple, Fedora, Windows)

  1. Cloner le dépôt : Utilisez `git clone` pour télécharger le projet llama-modchip depuis GitHub.

  2. Consulter la documentation : Consultez les fichiers `README.md`, `ARCHITECTURE.md` et `FAQ.md` pour des instructions détaillées d'installation et des exigences système.

  3. Installer les dépendances : Exécutez le script `install.sh` ou suivez les instructions manuelles pour configurer les bibliothèques et outils nécessaires.

  4. Configurer l'environnement : Ajustez les paramètres pour votre architecture CPU spécifique et votre configuration RAM comme indiqué dans la documentation.

  5. Exécuter les modèles : Suivez les scripts ou commandes fournis pour charger et exécuter les modèles DeepSeek-V4-Flash ou MoE.

  6. Surveiller les performances : Utilisez les outils de benchmark dans le dépôt pour évaluer les taux de tokens par seconde et l'utilisation des ressources.

  • Inférence LLM uniquement sur CPU
  • Développement IA contraint par la mémoire
  • Traitement à grande fenêtre de contexte
  • Déploiement efficace de modèles MoE
  • Recherche et expérimentation en IA
  • Génération et restauration de code

Avis sur llama-modchip

Chargement...

Outils IA populaires comme llama-modchip

BigMoeOnEdge

Dépôts GitHub d'IA

BigMoeOnEdge permet d'exécuter des modèles MoE plus grands que votre RAM sur divers appareils, y compris les téléphones et les ordinateurs portables. Il utilise un optimiseur de…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Permet d'exécuter des modèles MoE plus grands que votre RAM sur divers appareils, y compris les téléphones et les ordinateurs portables. Il utilise un optimiseur de…BigMoeOnEdge permet d'exécuter des modèles MoE plus grands que votre RAM sur divers appareils, y compris les téléphones et les ordinateurs portables. Il utilise un optimiseur de…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

Soup

Dépôts GitHub d'IA

Soupe est un dépôt GitHub qui permet le fine-tuning de grands modèles de langage (LLMs) à l'aide d'un seul fichier YAML. Il utilise le streaming de couches pour entraîner un…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Soupe est un dépôt GitHub qui permet le fine-tuning de grands modèles de langage (LLMs) à l'aide d'un seul fichier YAML. Il utilise le streaming de couches pour entraîner un…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

vLLM

Dépôts GitHub d'IA

vllm-project/vllm est un moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…

MLOps et déploiement de modèles

N°22 en Dépôts GitHub d'IA

Voir l'outil

Dépôts GitHub d'IA

Moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…vllm-project/vllm est un moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…

En vedetteMLOps et déploiement de modèles
N°22 en Dépôts GitHub d'IA

mlc-llm

Dépôts GitHub d'IA

mlc-llm est un moteur de déploiement LLM universel qui utilise la compilation de machine learning pour rationaliser le processus de déploiement. Il est conçu pour améliorer…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Moteur de déploiement LLM universel qui utilise la compilation de machine learning pour rationaliser le processus de déploiement. Il est conçu pour améliorer…mlc-llm est un moteur de déploiement LLM universel qui utilise la compilation de machine learning pour rationaliser le processus de déploiement. Il est conçu pour améliorer…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

trnrt

Dépôts GitHub d'IA

trnrt est un moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…

MLOps et déploiement de modèles

N°166 en MLOps et déploiement de modèles

Voir l'outil

Dépôts GitHub d'IA

Moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…trnrt est un moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…

MLOps et déploiement de modèles
N°166 en MLOps et déploiement de modèles

AirLLM

Dépôts GitHub d'IA

AirLLM est un projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…

MLOps et déploiement de modèles

N°71 en Machine learning et data science

Voir l'outil

Dépôts GitHub d'IA

Projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…AirLLM est un projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…

MLOps et déploiement de modèles
N°71 en Machine learning et data science

LMDeploy

Dépôts GitHub d'IA

LMDeploy est un ensemble d'outils conçu pour compresser, déployer et servir de grands modèles de langage (LLMs). Il fournit aux développeurs les outils nécessaires pour gérer…

MLOps et déploiement de modèles

N°58 en Dépôts GitHub d'IA

Voir l'outil

Dépôts GitHub d'IA

Ensemble d'outils conçu pour compresser, déployer et servir de grands modèles de langage (LLMs). Il fournit aux développeurs les outils nécessaires pour gérer…LMDeploy est un ensemble d'outils conçu pour compresser, déployer et servir de grands modèles de langage (LLMs). Il fournit aux développeurs les outils nécessaires pour gérer…

MLOps et déploiement de modèles
N°58 en Dépôts GitHub d'IA

FlashInfer

Dépôts GitHub d'IA

FlashInfer est une bibliothèque de noyau conçue pour servir de grands modèles de langage (LLMs). Elle facilite le déploiement et la gestion efficaces des LLMs, permettant aux…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Bibliothèque de noyau conçue pour servir de grands modèles de langage (LLMs). Elle facilite le déploiement et la gestion efficaces des LLMs, permettant aux…FlashInfer est une bibliothèque de noyau conçue pour servir de grands modèles de langage (LLMs). Elle facilite le déploiement et la gestion efficaces des LLMs, permettant aux…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA
1 sur 8