Descripción
smolmaxxing es un repositorio de GitHub de código abierto dedicado a ampliar los límites de la ejecución de modelos de lenguaje grande (LLMs) en los dispositivos más pequeños posibles. La misión central del proyecto es maximizar la capacidad de desplegar y ejecutar diferentes LLMs de manera eficiente en hardware que típicamente se considera insuficiente para tales tareas, incluyendo teléfonos inteligentes, tabletas y cajas de TV inteligentes.
Leer más
El repositorio contiene una colección completa de recursos, incluyendo benchmarks, datos, documentación y herramientas. Muestra métricas de rendimiento para varios LLMs, como Qwen3-Next-80B-A3B y Qwen3.6-35B-A3B, ejecutándose en dispositivos específicos como un teléfono OnePlus o una Xiaomi TV Box S. El proyecto rastrea meticulosamente el rendimiento en tokens por segundo (tok/s), demostrando la viabilidad de ejecutar modelos que van desde 260K hasta 9B parámetros en estos dispositivos compactos.
smolmaxxing proporciona un enfoque estructurado para la experimentación, con directorios dedicados para activos, benchmarks, datos y documentación. Incluye parches y herramientas para facilitar el proceso de optimización, junto con capturas de pantalla que ilustran el progreso del proyecto. El archivo `README.md` sirve como un centro central, presentando una tabla de clasificación de los modelos de mejor rendimiento por clase de tamaño y enlaces a modelos alojados en Hugging Face.
Este proyecto es ideal para desarrolladores, investigadores y entusiastas interesados en IA en el borde, aprendizaje automático en el dispositivo y optimización de la inferencia de LLM para entornos de bajo consumo. Fomenta la colaboración, con contribuciones de múltiples desarrolladores, e incluye una guía `CONTRIBUTING.md` para aquellos que deseen enviar sus benchmarks de dispositivos o mejoras de código. El archivo `LICENSE` indica una licencia MIT, promoviendo el uso y la modificación abiertos.
- CategoríaMLOps y despliegue de modelos
- Modelo de preciosCódigo abierto
- ImplementaciónNube, Autoalojado
- PlataformasWeb
Características principales de smolmaxxing
Inferencia optimizada de LLM en dispositivos pequeños
Benchmarks para varios LLMs en hardware diverso
Soporte para modelos de 260K a 9B parámetros
Seguimiento de rendimiento (tokens por segundo)
Documentación para optimizaciones específicas de dispositivos
Herramientas y parches para el despliegue de LLM
Tabla de clasificación de los modelos de mejor rendimiento
Enlaces a modelos de Hugging Face
Contribuciones de la comunidad y formularios de problemas
Licencia MIT para uso de código abierto
Ejemplos para teléfonos, iPads y cajas de TV
Repositorio para investigación y desarrollo continuos
Primeros pasos con smolmaxxing
Clonar el Repositorio: Usa `git clone` para obtener el proyecto smolmaxxing en tu máquina local.
Explorar la Documentación: Revisa el directorio `docs/` y el `README.md` para obtener una visión general del proyecto, detalles específicos del dispositivo e instrucciones de configuración.
Revisar los Benchmarks: Examina los directorios `bench/` y `data/` para entender el rendimiento existente de LLM en varios dispositivos pequeños.
Instalar Dependencias: Identifica e instala cualquier biblioteca o herramienta necesaria para ejecutar LLM en tu dispositivo objetivo.
Aplicar Parches/Herramientas: Utiliza los parches y herramientas proporcionados de los directorios `patches/` y `tools/` para optimizar la ejecución de LLM.
Realizar Experimentos: Sigue las pautas en `EXPERIMENT.md` para llevar a cabo tus propias pruebas de inferencia de LLM en dispositivos pequeños.
Contribuir Hallazgos: Usa el formulario de problemas `Submit your device` o `CONTRIBUTING.md` para compartir tus resultados o mejoras de código.
Casos de uso de smolmaxxing
- Desarrollo de IA en el borde
- Inferencia de LLM en el dispositivo
- Benchmarking de rendimiento
- IA con recursos limitados
- IA para dispositivos IoT
- Aplicación de IA móvil








