Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

inferssd

inferssd est un projet open-source sur GitHub conçu pour exécuter de grands modèles d'IA qui dépassent la capacité de la RAM ou de la VRAM de votre système. Il y parvient en diffusant efficacement les composants Mixture-of-Experts (MoE) directement depuis le stockage SSD. Basé sur le cadre llama.cpp, inferssd permet l'exécution locale de modèles avancés sur du matériel plus contraint, rendant l'IA puissante accessible sans nécessiter de mises à niveau de mémoire importantes.

Voir le dépôt
Partager
Voir le dépôt
Partager

inferssd est un projet GitHub axé sur la possibilité d'exécuter de grands modèles d'IA, en particulier ceux avec des architectures Mixture-of-Experts (MoE), même lorsque leur taille dépasse la RAM ou la VRAM disponibles. L'innovation principale réside dans sa capacité à diffuser des experts MoE depuis le stockage SSD, utilisant efficacement le disque comme une extension de la mémoire système. Cette approche réduit considérablement les exigences matérielles pour exécuter des modèles avancés localement, les rendant accessibles à un plus large éventail d'utilisateurs et de systèmes.

Lire la suite

Le projet est construit sur la base de llama.cpp, un moteur d'inférence haute performance pour de grands modèles de langage. En tirant parti de llama.cpp, inferssd bénéficie d'une base optimisée pour l'exécution des modèles, tout en étendant ses capacités pour gérer des modèles qui seraient autrement trop volumineux pour du matériel grand public typique. Cela est particulièrement précieux pour les chercheurs, développeurs et passionnés qui souhaitent expérimenter ou déployer de grands modèles sans investir dans des GPU coûteux et de haute capacité ou d'énormes quantités de RAM.

Les capacités clés incluent une gestion efficace de la mémoire qui priorise la diffusion des composants du modèle selon les besoins, plutôt que de charger l'ensemble du modèle dans la mémoire volatile d'un coup. Ce mécanisme de chargement dynamique garantit que seuls les « experts » ou segments de modèle actuellement actifs résident dans la RAM/VRAM, minimisant ainsi l'empreinte mémoire. Le projet démontre également un développement continu, avec des commits récents indiquant un support pour l'inférence SSD sous Windows sur ordinateurs portables et des optimisations pour diverses configurations matérielles, y compris les GPU à mémoire unifiée sur macOS.

inferssd vise à démocratiser l'accès aux grands modèles d'IA en surmontant les limitations matérielles courantes. Sa nature open-source encourage les contributions de la communauté et le développement ultérieur, favorisant l'innovation dans l'inférence locale d'IA. La structure du projet, avec des composants distincts « moteur » et « cadre », suggère un design modulaire qui pourrait faciliter de futures expansions et intégrations avec différentes architectures de modèles ou plateformes matérielles.

  • CatégorieMLOps et déploiement de modèles
  • Modèle tarifaireOpen source
  • DéploiementAuto-hébergé
  • PlateformesWindows, macOS

  • Exécuter des modèles plus grands que la RAM ou la VRAM

  • Diffuser des Mixture-of-Experts (MoE) depuis le SSD

  • Construit sur llama.cpp pour une inférence efficace

  • Prend en charge l'exécution de grands modèles d'IA sur du matériel contraint

  • Gestion de mémoire optimisée pour les modèles MoE

  • Permet l'inférence locale sans mises à niveau de mémoire importantes

  • Développement continu avec des commits récents

  • Support pour l'inférence SSD sous Windows sur ordinateurs portables

  • Optimisations pour les GPU à mémoire unifiée (par exemple, macOS)

  • Architecture modulaire « moteur » et « cadre »

  • Licence Apache-2.0 pour une utilisation open-source

  • Disponible publiquement sur GitHub pour la collaboration

  1. Cloner le dépôt : Utilisez `git clone` pour télécharger le projet inferssd depuis GitHub sur votre machine locale.

  2. Installer les dépendances : Suivez la documentation du projet (par exemple, dans `docs` ou `README.md`) pour installer les outils de construction et bibliothèques nécessaires, y compris potentiellement CMake et des compilateurs spécifiques.

  3. Configurer la construction : Utilisez CMake pour configurer le processus de construction, en spécifiant votre plateforme cible et toutes les options souhaitées.

  4. Compiler le projet : Compilez le code source en utilisant votre système de construction choisi (par exemple, Make ou Visual Studio) pour générer les exécutables inferssd.

  5. Préparer les modèles : Convertissez ou obtenez des modèles MoE compatibles avec llama.cpp et le mécanisme de diffusion d'inferssd, en vous assurant qu'ils sont correctement formatés pour l'inférence SSD.

  6. Exécuter l'inférence : Exécutez l'application inferssd compilée avec vos modèles préparés, permettant de diffuser des experts depuis le SSD pour l'inférence.

  7. Surveiller les performances : Observez l'utilisation des ressources et la vitesse d'inférence, en ajustant potentiellement les configurations pour des performances optimales sur votre matériel spécifique.

  • Inférence LLM locale
  • Déploiement de modèles MoE
  • Recherche et développement en IA
  • Applications IA Edge
  • Prototypage IA économique

Avis sur inferssd

Chargement...

Outils IA populaires comme inferssd

BigMoeOnEdge

Dépôts GitHub d'IA

BigMoeOnEdge permet d'exécuter des modèles MoE plus grands que votre RAM sur divers appareils, y compris les téléphones et les ordinateurs portables. Il utilise un optimiseur de…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Permet d'exécuter des modèles MoE plus grands que votre RAM sur divers appareils, y compris les téléphones et les ordinateurs portables. Il utilise un optimiseur de…BigMoeOnEdge permet d'exécuter des modèles MoE plus grands que votre RAM sur divers appareils, y compris les téléphones et les ordinateurs portables. Il utilise un optimiseur de…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

llama-modchip

Dépôts GitHub d'IA

llama-modchip est un projet GitHub permettant aux utilisateurs d'exécuter de grands modèles de langage comme 284B DeepSeek-V4-Flash et 30B MoEs sur un CPU pur de 64 Go sans GPU.…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Projet GitHub permettant aux utilisateurs d'exécuter de grands modèles de langage comme 284B DeepSeek-V4-Flash et 30B MoEs sur un CPU pur de 64 Go sans GPU.…llama-modchip est un projet GitHub permettant aux utilisateurs d'exécuter de grands modèles de langage comme 284B DeepSeek-V4-Flash et 30B MoEs sur un CPU pur de 64 Go sans GPU.…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

vLLM

Dépôts GitHub d'IA

vllm-project/vllm est un moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…

MLOps et déploiement de modèles

N°22 en Dépôts GitHub d'IA

Voir l'outil

Dépôts GitHub d'IA

Moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…vllm-project/vllm est un moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…

En vedetteMLOps et déploiement de modèles
N°22 en Dépôts GitHub d'IA

trnrt

Dépôts GitHub d'IA

trnrt est un moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…

MLOps et déploiement de modèles

N°160 en MLOps et déploiement de modèles

Voir l'outil

Dépôts GitHub d'IA

Moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…trnrt est un moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…

MLOps et déploiement de modèles
N°160 en MLOps et déploiement de modèles

Soup

Dépôts GitHub d'IA

Soupe est un dépôt GitHub qui permet le fine-tuning de grands modèles de langage (LLMs) à l'aide d'un seul fichier YAML. Il utilise le streaming de couches pour entraîner un…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Soupe est un dépôt GitHub qui permet le fine-tuning de grands modèles de langage (LLMs) à l'aide d'un seul fichier YAML. Il utilise le streaming de couches pour entraîner un…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

MNN

Dépôts GitHub d'IA

MNN est un moteur d'inférence léger et performant développé par Alibaba. Il est conçu pour optimiser les LLM sur appareil et les applications Edge AI, offrant des capacités…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Moteur d'inférence léger et performant développé par Alibaba. Il est conçu pour optimiser les LLM sur appareil et les applications Edge AI, offrant des capacités…MNN est un moteur d'inférence léger et performant développé par Alibaba. Il est conçu pour optimiser les LLM sur appareil et les applications Edge AI, offrant des capacités…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

LMDeploy

Dépôts GitHub d'IA

LMDeploy est un ensemble d'outils conçu pour compresser, déployer et servir de grands modèles de langage (LLMs). Il fournit aux développeurs les outils nécessaires pour gérer…

MLOps et déploiement de modèles

N°59 en Dépôts GitHub d'IA

Voir l'outil

Dépôts GitHub d'IA

Ensemble d'outils conçu pour compresser, déployer et servir de grands modèles de langage (LLMs). Il fournit aux développeurs les outils nécessaires pour gérer…LMDeploy est un ensemble d'outils conçu pour compresser, déployer et servir de grands modèles de langage (LLMs). Il fournit aux développeurs les outils nécessaires pour gérer…

MLOps et déploiement de modèles
N°59 en Dépôts GitHub d'IA

AirLLM

Dépôts GitHub d'IA

AirLLM est un projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…

MLOps et déploiement de modèles

N°72 en Machine learning et data science

Voir l'outil

Dépôts GitHub d'IA

Projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…AirLLM est un projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…

MLOps et déploiement de modèles
N°72 en Machine learning et data science
1 sur 8