Saltar al contenido principal
ToolPotion
Asesor de IA
Enviar

smolmaxxing

smolmaxxing es un proyecto de GitHub centrado en optimizar la ejecución de varios modelos de lenguaje grande (LLMs) en dispositivos con recursos limitados. Proporciona benchmarks, herramientas y documentación para permitir una inferencia eficiente de LLM en dispositivos pequeños como teléfonos, iPads y cajas de TV. El proyecto tiene como objetivo maximizar el rendimiento y la compatibilidad en una variedad de hardware, haciendo que la IA avanzada sea accesible en gadgets cotidianos.

Ver repositorio
Compartir
Ver repositorio
Compartir

smolmaxxing es un repositorio de GitHub de código abierto dedicado a ampliar los límites de la ejecución de modelos de lenguaje grande (LLMs) en los dispositivos más pequeños posibles. La misión central del proyecto es maximizar la capacidad de desplegar y ejecutar diferentes LLMs de manera eficiente en hardware que típicamente se considera insuficiente para tales tareas, incluyendo teléfonos inteligentes, tabletas y cajas de TV inteligentes.

Leer más

El repositorio contiene una colección completa de recursos, incluyendo benchmarks, datos, documentación y herramientas. Muestra métricas de rendimiento para varios LLMs, como Qwen3-Next-80B-A3B y Qwen3.6-35B-A3B, ejecutándose en dispositivos específicos como un teléfono OnePlus o una Xiaomi TV Box S. El proyecto rastrea meticulosamente el rendimiento en tokens por segundo (tok/s), demostrando la viabilidad de ejecutar modelos que van desde 260K hasta 9B parámetros en estos dispositivos compactos.

smolmaxxing proporciona un enfoque estructurado para la experimentación, con directorios dedicados para activos, benchmarks, datos y documentación. Incluye parches y herramientas para facilitar el proceso de optimización, junto con capturas de pantalla que ilustran el progreso del proyecto. El archivo `README.md` sirve como un centro central, presentando una tabla de clasificación de los modelos de mejor rendimiento por clase de tamaño y enlaces a modelos alojados en Hugging Face.

Este proyecto es ideal para desarrolladores, investigadores y entusiastas interesados en IA en el borde, aprendizaje automático en el dispositivo y optimización de la inferencia de LLM para entornos de bajo consumo. Fomenta la colaboración, con contribuciones de múltiples desarrolladores, e incluye una guía `CONTRIBUTING.md` para aquellos que deseen enviar sus benchmarks de dispositivos o mejoras de código. El archivo `LICENSE` indica una licencia MIT, promoviendo el uso y la modificación abiertos.

  • CategoríaMLOps y despliegue de modelos
  • Modelo de preciosCódigo abierto
  • ImplementaciónNube, Autoalojado
  • PlataformasWeb

  • Inferencia optimizada de LLM en dispositivos pequeños

  • Benchmarks para varios LLMs en hardware diverso

  • Soporte para modelos de 260K a 9B parámetros

  • Seguimiento de rendimiento (tokens por segundo)

  • Documentación para optimizaciones específicas de dispositivos

  • Herramientas y parches para el despliegue de LLM

  • Tabla de clasificación de los modelos de mejor rendimiento

  • Enlaces a modelos de Hugging Face

  • Contribuciones de la comunidad y formularios de problemas

  • Licencia MIT para uso de código abierto

  • Ejemplos para teléfonos, iPads y cajas de TV

  • Repositorio para investigación y desarrollo continuos

  1. Clonar el Repositorio: Usa `git clone` para obtener el proyecto smolmaxxing en tu máquina local.

  2. Explorar la Documentación: Revisa el directorio `docs/` y el `README.md` para obtener una visión general del proyecto, detalles específicos del dispositivo e instrucciones de configuración.

  3. Revisar los Benchmarks: Examina los directorios `bench/` y `data/` para entender el rendimiento existente de LLM en varios dispositivos pequeños.

  4. Instalar Dependencias: Identifica e instala cualquier biblioteca o herramienta necesaria para ejecutar LLM en tu dispositivo objetivo.

  5. Aplicar Parches/Herramientas: Utiliza los parches y herramientas proporcionados de los directorios `patches/` y `tools/` para optimizar la ejecución de LLM.

  6. Realizar Experimentos: Sigue las pautas en `EXPERIMENT.md` para llevar a cabo tus propias pruebas de inferencia de LLM en dispositivos pequeños.

  7. Contribuir Hallazgos: Usa el formulario de problemas `Submit your device` o `CONTRIBUTING.md` para compartir tus resultados o mejoras de código.

  • Desarrollo de IA en el borde
  • Inferencia de LLM en el dispositivo
  • Benchmarking de rendimiento
  • IA con recursos limitados
  • IA para dispositivos IoT
  • Aplicación de IA móvil

Reseñas de smolmaxxing

Cargando...

Herramientas de IA populares como smolmaxxing

MNN

Repositorios de IA en GitHub

MNN es un motor de inferencia ligero y de alto rendimiento desarrollado por Alibaba. Está diseñado para optimizar los LLMs en dispositivos y aplicaciones de Edge AI,…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Motor de inferencia ligero y de alto rendimiento desarrollado por Alibaba. Está diseñado para optimizar los LLMs en dispositivos y aplicaciones de Edge AI,…MNN es un motor de inferencia ligero y de alto rendimiento desarrollado por Alibaba. Está diseñado para optimizar los LLMs en dispositivos y aplicaciones de Edge AI,…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

BigMoeOnEdge

Repositorios de IA en GitHub

BigMoeOnEdge permite ejecutar modelos de MoE más grandes que tu RAM en varios dispositivos, incluidos teléfonos y laptops. Utiliza un optimizador de transmisión adaptativa para…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Permite ejecutar modelos de MoE más grandes que tu RAM en varios dispositivos, incluidos teléfonos y laptops. Utiliza un optimizador de transmisión adaptativa para…BigMoeOnEdge permite ejecutar modelos de MoE más grandes que tu RAM en varios dispositivos, incluidos teléfonos y laptops. Utiliza un optimizador de transmisión adaptativa para…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

trnrt

Repositorios de IA en GitHub

trnrt es un motor de inferencia LLM de código abierto diseñado para AWS Trainium, que ofrece megakernels NKI y soporta un contexto de 1M tokens. Desarrollado por RunAnywhere,…

MLOps y despliegue de modelos

N.º 160 en MLOps y despliegue de modelos

Ver herramienta

Repositorios de IA en GitHub

Motor de inferencia LLM de código abierto diseñado para AWS Trainium, que ofrece megakernels NKI y soporta un contexto de 1M tokens. Desarrollado por RunAnywhere,…trnrt es un motor de inferencia LLM de código abierto diseñado para AWS Trainium, que ofrece megakernels NKI y soporta un contexto de 1M tokens. Desarrollado por RunAnywhere,…

MLOps y despliegue de modelos
N.º 160 en MLOps y despliegue de modelos

vLLM

Repositorios de IA en GitHub

vllm-project/vllm es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…

MLOps y despliegue de modelos

N.º 23 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…vllm-project/vllm es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…

DestacadaMLOps y despliegue de modelos
N.º 23 en Repositorios de IA en GitHub

llama-modchip

Repositorios de IA en GitHub

llama-modchip es un proyecto de GitHub que permite a los usuarios ejecutar modelos de lenguaje grandes como 284B DeepSeek-V4-Flash y 30B MoEs en una CPU pura de 64GB sin GPUs.…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Proyecto de GitHub que permite a los usuarios ejecutar modelos de lenguaje grandes como 284B DeepSeek-V4-Flash y 30B MoEs en una CPU pura de 64GB sin GPUs.…llama-modchip es un proyecto de GitHub que permite a los usuarios ejecutar modelos de lenguaje grandes como 284B DeepSeek-V4-Flash y 30B MoEs en una CPU pura de 64GB sin GPUs.…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

mlc-llm

Repositorios de IA en GitHub

mlc-llm es un motor de implementación universal de LLM que utiliza la compilación de aprendizaje automático para agilizar el proceso de implementación. Está diseñado para mejorar…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Motor de implementación universal de LLM que utiliza la compilación de aprendizaje automático para agilizar el proceso de implementación. Está diseñado para mejorar…mlc-llm es un motor de implementación universal de LLM que utiliza la compilación de aprendizaje automático para agilizar el proceso de implementación. Está diseñado para mejorar…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

Soup

Repositorios de IA en GitHub

Soup es un repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…Soup es un repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

AirLLM

Repositorios de IA en GitHub

AirLLM es un proyecto de GitHub que permite la inferencia de 70 mil millones de parámetros utilizando una sola GPU de 4GB. Está diseñado para optimizar el rendimiento de modelos…

MLOps y despliegue de modelos

N.º 73 en Aprendizaje automático y ciencia de datos

Ver herramienta

Repositorios de IA en GitHub

Proyecto de GitHub que permite la inferencia de 70 mil millones de parámetros utilizando una sola GPU de 4GB. Está diseñado para optimizar el rendimiento de modelos…AirLLM es un proyecto de GitHub que permite la inferencia de 70 mil millones de parámetros utilizando una sola GPU de 4GB. Está diseñado para optimizar el rendimiento de modelos…

MLOps y despliegue de modelos
N.º 73 en Aprendizaje automático y ciencia de datos
1 de 8