Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

smolmaxxing

smolmaxxing est un projet GitHub axé sur l'optimisation de l'exécution de divers modèles de langage de grande taille (LLMs) sur des appareils à ressources limitées. Il fournit des benchmarks, des outils et de la documentation pour permettre une inférence LLM efficace sur de petits appareils comme les téléphones, les iPads et les boîtiers TV. Le projet vise à maximiser les performances et la compatibilité sur une gamme de matériel, rendant l'IA avancée accessible sur des gadgets quotidiens.

Voir le dépôt
Partager
Voir le dépôt
Partager

smolmaxxing est un dépôt GitHub open-source dédié à repousser les limites de l'exécution de modèles de langage de grande taille (LLMs) sur les appareils les plus petits possibles. La mission principale du projet est de maximiser la capacité à déployer et exécuter différents LLMs de manière efficace sur du matériel généralement considéré comme sous-alimenté pour de telles tâches, y compris les smartphones, les tablettes et les boîtiers de télévision intelligents.

Lire la suite

Le dépôt contient une collection complète de ressources, y compris des benchmarks, des données, de la documentation et des outils. Il présente des métriques de performance pour divers LLMs, tels que Qwen3-Next-80B-A3B et Qwen3.6-35B-A3B, fonctionnant sur des appareils spécifiques comme un téléphone OnePlus ou un Xiaomi TV Box S. Le projet suit méticuleusement la performance en tokens par seconde (tok/s), démontrant la faisabilité de faire fonctionner des modèles allant de 260K à 9B paramètres sur ces appareils compacts.

smolmaxxing fournit une approche structurée pour l'expérimentation, avec des répertoires dédiés pour les actifs, les benchmarks, les données et la documentation. Il inclut des correctifs et des outils pour faciliter le processus d'optimisation, ainsi que des captures d'écran illustrant les progrès du projet. Le fichier `README.md` sert de plaque tournante centrale, présentant un tableau des modèles les plus performants par classe de taille et des liens vers des modèles hébergés sur Hugging Face.

Ce projet est idéal pour les développeurs, les chercheurs et les passionnés intéressés par l'IA en périphérie, l'apprentissage automatique sur appareil et l'optimisation de l'inférence LLM pour des environnements à faible consommation d'énergie. Il favorise la collaboration, avec des contributions de plusieurs développeurs, et comprend un guide `CONTRIBUTING.md` pour ceux qui souhaitent soumettre leurs benchmarks d'appareils ou des améliorations de code. Le fichier `LICENSE` indique une licence MIT, promouvant l'utilisation et la modification ouvertes.

  • CatégorieMLOps et déploiement de modèles
  • Modèle tarifaireOpen source
  • DéploiementCloud, Auto-hébergé
  • PlateformesWeb

  • Inférence LLM optimisée sur de petits appareils

  • Benchmarks pour divers LLMs sur du matériel varié

  • Support pour des modèles de 260K à 9B paramètres

  • Suivi des performances (tokens par seconde)

  • Documentation pour les optimisations spécifiques aux appareils

  • Outils et correctifs pour le déploiement LLM

  • Tableau des modèles les plus performants

  • Liens vers des modèles Hugging Face

  • Contributions de la communauté et formulaires de problèmes

  • Licence MIT pour une utilisation open-source

  • Exemples pour téléphones, iPads et boîtiers TV

  • Dépôt pour la recherche et le développement en cours

  1. Cloner le dépôt : Utilisez `git clone` pour obtenir le projet smolmaxxing sur votre machine locale.

  2. Explorer la documentation : Consultez le répertoire `docs/` et le fichier `README.md` pour un aperçu du projet, des spécificités des appareils et des instructions d'installation.

  3. Examiner les benchmarks : Consultez les répertoires `bench/` et `data/` pour comprendre les performances existantes des LLM sur divers petits appareils.

  4. Installer les dépendances : Identifiez et installez toutes les bibliothèques ou outils nécessaires pour exécuter les LLM sur votre appareil cible.

  5. Appliquer des correctifs/outils : Utilisez les correctifs et outils fournis dans les répertoires `patches/` et `tools/` pour optimiser l'exécution des LLM.

  6. Réaliser des expériences : Suivez les directives dans `EXPERIMENT.md` pour effectuer vos propres tests d'inférence LLM sur de petits appareils.

  7. Contribuer aux résultats : Utilisez le formulaire de problème `Submit your device` ou `CONTRIBUTING.md` pour partager vos résultats ou améliorations de code.

  • Développement d'IA en périphérie
  • Inférence LLM sur appareil
  • Benchmarking des performances
  • IA à ressources limitées
  • IA pour appareils IoT
  • Application d'IA mobile

Avis sur smolmaxxing

Chargement...

Outils IA populaires comme smolmaxxing

MNN

Dépôts GitHub d'IA

MNN est un moteur d'inférence léger et performant développé par Alibaba. Il est conçu pour optimiser les LLM sur appareil et les applications Edge AI, offrant des capacités…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Moteur d'inférence léger et performant développé par Alibaba. Il est conçu pour optimiser les LLM sur appareil et les applications Edge AI, offrant des capacités…MNN est un moteur d'inférence léger et performant développé par Alibaba. Il est conçu pour optimiser les LLM sur appareil et les applications Edge AI, offrant des capacités…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

BigMoeOnEdge

Dépôts GitHub d'IA

BigMoeOnEdge permet d'exécuter des modèles MoE plus grands que votre RAM sur divers appareils, y compris les téléphones et les ordinateurs portables. Il utilise un optimiseur de…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Permet d'exécuter des modèles MoE plus grands que votre RAM sur divers appareils, y compris les téléphones et les ordinateurs portables. Il utilise un optimiseur de…BigMoeOnEdge permet d'exécuter des modèles MoE plus grands que votre RAM sur divers appareils, y compris les téléphones et les ordinateurs portables. Il utilise un optimiseur de…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

trnrt

Dépôts GitHub d'IA

trnrt est un moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…

MLOps et déploiement de modèles

N°160 en MLOps et déploiement de modèles

Voir l'outil

Dépôts GitHub d'IA

Moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…trnrt est un moteur d'inférence LLM open-source conçu pour AWS Trainium, offrant des mégacœurs NKI et prenant en charge un contexte de 1M de tokens. Développé par RunAnywhere, il…

MLOps et déploiement de modèles
N°160 en MLOps et déploiement de modèles

vLLM

Dépôts GitHub d'IA

vllm-project/vllm est un moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…

MLOps et déploiement de modèles

N°23 en Dépôts GitHub d'IA

Voir l'outil

Dépôts GitHub d'IA

Moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…vllm-project/vllm est un moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…

En vedetteMLOps et déploiement de modèles
N°23 en Dépôts GitHub d'IA

llama-modchip

Dépôts GitHub d'IA

llama-modchip est un projet GitHub permettant aux utilisateurs d'exécuter de grands modèles de langage comme 284B DeepSeek-V4-Flash et 30B MoEs sur un CPU pur de 64 Go sans GPU.…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Projet GitHub permettant aux utilisateurs d'exécuter de grands modèles de langage comme 284B DeepSeek-V4-Flash et 30B MoEs sur un CPU pur de 64 Go sans GPU.…llama-modchip est un projet GitHub permettant aux utilisateurs d'exécuter de grands modèles de langage comme 284B DeepSeek-V4-Flash et 30B MoEs sur un CPU pur de 64 Go sans GPU.…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

mlc-llm

Dépôts GitHub d'IA

mlc-llm est un moteur de déploiement LLM universel qui utilise la compilation de machine learning pour rationaliser le processus de déploiement. Il est conçu pour améliorer…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Moteur de déploiement LLM universel qui utilise la compilation de machine learning pour rationaliser le processus de déploiement. Il est conçu pour améliorer…mlc-llm est un moteur de déploiement LLM universel qui utilise la compilation de machine learning pour rationaliser le processus de déploiement. Il est conçu pour améliorer…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

Soup

Dépôts GitHub d'IA

Soupe est un dépôt GitHub qui permet le fine-tuning de grands modèles de langage (LLMs) à l'aide d'un seul fichier YAML. Il utilise le streaming de couches pour entraîner un…

MLOps et déploiement de modèles
Voir l'outil

Dépôts GitHub d'IA

Soupe est un dépôt GitHub qui permet le fine-tuning de grands modèles de langage (LLMs) à l'aide d'un seul fichier YAML. Il utilise le streaming de couches pour entraîner un…

MLOps et déploiement de modèles
Voir le Top 250 Dépôts GitHub d'IA

AirLLM

Dépôts GitHub d'IA

AirLLM est un projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…

MLOps et déploiement de modèles

N°73 en Machine learning et data science

Voir l'outil

Dépôts GitHub d'IA

Projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…AirLLM est un projet GitHub qui permet l'inférence de 70 milliards de paramètres en utilisant un seul GPU de 4 Go. Il est conçu pour optimiser les performances des modèles de…

MLOps et déploiement de modèles
N°73 en Machine learning et data science
1 sur 8