Description
smolmaxxing est un dépôt GitHub open-source dédié à repousser les limites de l'exécution de modèles de langage de grande taille (LLMs) sur les appareils les plus petits possibles. La mission principale du projet est de maximiser la capacité à déployer et exécuter différents LLMs de manière efficace sur du matériel généralement considéré comme sous-alimenté pour de telles tâches, y compris les smartphones, les tablettes et les boîtiers de télévision intelligents.
Lire la suite
Le dépôt contient une collection complète de ressources, y compris des benchmarks, des données, de la documentation et des outils. Il présente des métriques de performance pour divers LLMs, tels que Qwen3-Next-80B-A3B et Qwen3.6-35B-A3B, fonctionnant sur des appareils spécifiques comme un téléphone OnePlus ou un Xiaomi TV Box S. Le projet suit méticuleusement la performance en tokens par seconde (tok/s), démontrant la faisabilité de faire fonctionner des modèles allant de 260K à 9B paramètres sur ces appareils compacts.
smolmaxxing fournit une approche structurée pour l'expérimentation, avec des répertoires dédiés pour les actifs, les benchmarks, les données et la documentation. Il inclut des correctifs et des outils pour faciliter le processus d'optimisation, ainsi que des captures d'écran illustrant les progrès du projet. Le fichier `README.md` sert de plaque tournante centrale, présentant un tableau des modèles les plus performants par classe de taille et des liens vers des modèles hébergés sur Hugging Face.
Ce projet est idéal pour les développeurs, les chercheurs et les passionnés intéressés par l'IA en périphérie, l'apprentissage automatique sur appareil et l'optimisation de l'inférence LLM pour des environnements à faible consommation d'énergie. Il favorise la collaboration, avec des contributions de plusieurs développeurs, et comprend un guide `CONTRIBUTING.md` pour ceux qui souhaitent soumettre leurs benchmarks d'appareils ou des améliorations de code. Le fichier `LICENSE` indique une licence MIT, promouvant l'utilisation et la modification ouvertes.
- CatégorieMLOps et déploiement de modèles
- Modèle tarifaireOpen source
- DéploiementCloud, Auto-hébergé
- PlateformesWeb
Fonctionnalités principales de smolmaxxing
Inférence LLM optimisée sur de petits appareils
Benchmarks pour divers LLMs sur du matériel varié
Support pour des modèles de 260K à 9B paramètres
Suivi des performances (tokens par seconde)
Documentation pour les optimisations spécifiques aux appareils
Outils et correctifs pour le déploiement LLM
Tableau des modèles les plus performants
Liens vers des modèles Hugging Face
Contributions de la communauté et formulaires de problèmes
Licence MIT pour une utilisation open-source
Exemples pour téléphones, iPads et boîtiers TV
Dépôt pour la recherche et le développement en cours
Premiers pas avec smolmaxxing
Cloner le dépôt : Utilisez `git clone` pour obtenir le projet smolmaxxing sur votre machine locale.
Explorer la documentation : Consultez le répertoire `docs/` et le fichier `README.md` pour un aperçu du projet, des spécificités des appareils et des instructions d'installation.
Examiner les benchmarks : Consultez les répertoires `bench/` et `data/` pour comprendre les performances existantes des LLM sur divers petits appareils.
Installer les dépendances : Identifiez et installez toutes les bibliothèques ou outils nécessaires pour exécuter les LLM sur votre appareil cible.
Appliquer des correctifs/outils : Utilisez les correctifs et outils fournis dans les répertoires `patches/` et `tools/` pour optimiser l'exécution des LLM.
Réaliser des expériences : Suivez les directives dans `EXPERIMENT.md` pour effectuer vos propres tests d'inférence LLM sur de petits appareils.
Contribuer aux résultats : Utilisez le formulaire de problème `Submit your device` ou `CONTRIBUTING.md` pour partager vos résultats ou améliorations de code.
Cas d'utilisation de smolmaxxing
- Développement d'IA en périphérie
- Inférence LLM sur appareil
- Benchmarking des performances
- IA à ressources limitées
- IA pour appareils IoT
- Application d'IA mobile








