Saltar al contenido principal
ToolPotion
Asesor de IA
Enviar

llama-modchip

llama-modchip es un proyecto de GitHub que permite a los usuarios ejecutar modelos de lenguaje grandes como 284B DeepSeek-V4-Flash y 30B MoEs en una CPU pura de 64GB sin GPUs. Soporta altas tasas de tokens por segundo y una ventana de contexto de 256K, integrando características avanzadas como SwiGLU-H2 y la restauración de código Claude para un despliegue y experimentación de modelos de IA eficientes y accesibles.

Ver repositorio
Compartir
Ver repositorio
Compartir

llama-modchip es un proyecto de GitHub de código abierto diseñado para optimizar la ejecución de modelos de lenguaje grandes (LLMs) en hardware de CPU convencional, específicamente dirigido a sistemas con 64GB de RAM y sin GPUs dedicadas. El proyecto demuestra la capacidad de ejecutar modelos como el 284B DeepSeek-V4-Flash con menos de 59GiB de RAM, logrando métricas de rendimiento impresionantes como 44.4 tokens por segundo (pp) y 9.1-14.7 tokens por segundo en general. También soporta modelos de 30B Mezcla de Expertos (MoE), entregando velocidades entre 25-111 tokens por segundo.

Leer más

La innovación central de llama-modchip radica en su capacidad para aprovechar los recursos de la CPU de manera eficiente, proporcionando una solución rentable y accesible para investigadores, desarrolladores y entusiastas que pueden no tener acceso a infraestructura de GPU de alta gama. Esto es particularmente significativo para modelos que requieren una gran ventana de contexto, ya que el proyecto soporta hasta 256K de contexto, permitiendo amplias capacidades de procesamiento conversacional o documental.

Más allá del rendimiento bruto, llama-modchip incorpora varias características avanzadas y optimizaciones. Estas incluyen SwiGLU-H2, una función de activación altamente eficiente, y Stockfish-PVS L3, que probablemente se refiere a un algoritmo de búsqueda o estructura de datos optimizada, mejorando las capacidades de razonamiento o procesamiento del modelo. El proyecto también destaca una característica de "restauración de código Claude de 13ms", sugiriendo una recuperación rápida o integración de funcionalidades relacionadas con el código, potencialmente mejorando los flujos de trabajo de desarrollo o tareas de generación de código.

La estructura del repositorio indica un desarrollo continuo y un enfoque en varios aspectos del despliegue y optimización de modelos. Directorios como `apple-silicon` sugieren optimizaciones específicas para los chips M de Apple, mientras que `benchmarks` y `docs` proporcionan datos de rendimiento y explicaciones detalladas. La presencia de carpetas `patches` y `speculative` apunta a esfuerzos de refinamiento continuo y fortalecimiento de la seguridad. En general, llama-modchip busca ampliar los límites de lo que es posible con la inferencia de LLM solo en CPU, haciendo que los modelos de IA avanzados sean más accesibles.

  • CategoríaMLOps y despliegue de modelos
  • Modelo de preciosCódigo abierto
  • ImplementaciónAutoalojado
  • PlataformasLinux, Windows

  • Ejecutar 284B DeepSeek-V4-Flash en CPU de 64GB

  • Lograr 44.4 tokens/s pp para DeepSeek-V4-Flash

  • Soportar modelos de 30B Mezcla de Expertos (MoE)

  • Operar con una ventana de contexto de 256K en CPU

  • Utilizar la optimización SwiGLU-H2

  • Integrar Stockfish-PVS L3

  • Incluir restauración de código Claude de 13ms

  • Optimizado para un uso de RAM inferior a 59GiB

  • Incluye optimizaciones específicas para Apple Silicon

  • Proporciona benchmarks y documentación detallada

  • Ofrece fortalecimiento de seguridad y parches

  • Soporta varios sistemas operativos (por ejemplo, Fedora, Windows)

  1. Clonar Repositorio: Usa `git clone` para descargar el proyecto llama-modchip desde GitHub.

  2. Revisar Documentación: Consulta los archivos `README.md`, `ARCHITECTURE.md` y `FAQ.md` para instrucciones detalladas de configuración y requisitos del sistema.

  3. Instalar Dependencias: Ejecuta el script `install.sh` o sigue las instrucciones manuales para configurar las bibliotecas y herramientas necesarias.

  4. Configurar Entorno: Ajusta la configuración para tu arquitectura de CPU específica y configuración de RAM según lo indicado en la documentación.

  5. Ejecutar Modelos: Sigue los scripts o comandos proporcionados para cargar y ejecutar los modelos DeepSeek-V4-Flash o MoE.

  6. Monitorear Rendimiento: Utiliza herramientas de benchmark dentro del repositorio para evaluar las tasas de tokens por segundo y el uso de recursos.

  • Inferencia de LLM Solo en CPU
  • Desarrollo de IA con Limitaciones de Memoria
  • Procesamiento de Ventanas de Contexto Altas
  • Despliegue Eficiente de Modelos MoE
  • Investigación y Experimentación en IA
  • Generación y Restauración de Código

Reseñas de llama-modchip

Cargando...

Herramientas de IA populares como llama-modchip

BigMoeOnEdge

Repositorios de IA en GitHub

BigMoeOnEdge permite ejecutar modelos de MoE más grandes que tu RAM en varios dispositivos, incluidos teléfonos y laptops. Utiliza un optimizador de transmisión adaptativa para…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Permite ejecutar modelos de MoE más grandes que tu RAM en varios dispositivos, incluidos teléfonos y laptops. Utiliza un optimizador de transmisión adaptativa para…BigMoeOnEdge permite ejecutar modelos de MoE más grandes que tu RAM en varios dispositivos, incluidos teléfonos y laptops. Utiliza un optimizador de transmisión adaptativa para…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

Soup

Repositorios de IA en GitHub

Soup es un repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…Soup es un repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

vLLM

Repositorios de IA en GitHub

vllm-project/vllm es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…

MLOps y despliegue de modelos

N.º 23 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…vllm-project/vllm es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…

DestacadaMLOps y despliegue de modelos
N.º 23 en Repositorios de IA en GitHub

mlc-llm

Repositorios de IA en GitHub

mlc-llm es un motor de implementación universal de LLM que utiliza la compilación de aprendizaje automático para agilizar el proceso de implementación. Está diseñado para mejorar…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Motor de implementación universal de LLM que utiliza la compilación de aprendizaje automático para agilizar el proceso de implementación. Está diseñado para mejorar…mlc-llm es un motor de implementación universal de LLM que utiliza la compilación de aprendizaje automático para agilizar el proceso de implementación. Está diseñado para mejorar…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

trnrt

Repositorios de IA en GitHub

trnrt es un motor de inferencia LLM de código abierto diseñado para AWS Trainium, que ofrece megakernels NKI y soporta un contexto de 1M tokens. Desarrollado por RunAnywhere,…

MLOps y despliegue de modelos

N.º 160 en MLOps y despliegue de modelos

Ver herramienta

Repositorios de IA en GitHub

Motor de inferencia LLM de código abierto diseñado para AWS Trainium, que ofrece megakernels NKI y soporta un contexto de 1M tokens. Desarrollado por RunAnywhere,…trnrt es un motor de inferencia LLM de código abierto diseñado para AWS Trainium, que ofrece megakernels NKI y soporta un contexto de 1M tokens. Desarrollado por RunAnywhere,…

MLOps y despliegue de modelos
N.º 160 en MLOps y despliegue de modelos

AirLLM

Repositorios de IA en GitHub

AirLLM es un proyecto de GitHub que permite la inferencia de 70 mil millones de parámetros utilizando una sola GPU de 4GB. Está diseñado para optimizar el rendimiento de modelos…

MLOps y despliegue de modelos

N.º 73 en Aprendizaje automático y ciencia de datos

Ver herramienta

Repositorios de IA en GitHub

Proyecto de GitHub que permite la inferencia de 70 mil millones de parámetros utilizando una sola GPU de 4GB. Está diseñado para optimizar el rendimiento de modelos…AirLLM es un proyecto de GitHub que permite la inferencia de 70 mil millones de parámetros utilizando una sola GPU de 4GB. Está diseñado para optimizar el rendimiento de modelos…

MLOps y despliegue de modelos
N.º 73 en Aprendizaje automático y ciencia de datos

LMDeploy

Repositorios de IA en GitHub

LMDeploy es un conjunto de herramientas diseñado para comprimir, implementar y servir modelos de lenguaje grande (LLMs). Proporciona a los desarrolladores las herramientas…

MLOps y despliegue de modelos

N.º 59 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Conjunto de herramientas diseñado para comprimir, implementar y servir modelos de lenguaje grande (LLMs). Proporciona a los desarrolladores las herramientas…LMDeploy es un conjunto de herramientas diseñado para comprimir, implementar y servir modelos de lenguaje grande (LLMs). Proporciona a los desarrolladores las herramientas…

MLOps y despliegue de modelos
N.º 59 en Repositorios de IA en GitHub

FlashInfer

Repositorios de IA en GitHub

FlashInfer es una biblioteca de núcleo diseñada para servir modelos de lenguaje grandes (LLMs). Facilita el despliegue y la gestión eficientes de LLMs, permitiendo a los…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Biblioteca de núcleo diseñada para servir modelos de lenguaje grandes (LLMs). Facilita el despliegue y la gestión eficientes de LLMs, permitiendo a los…FlashInfer es una biblioteca de núcleo diseñada para servir modelos de lenguaje grandes (LLMs). Facilita el despliegue y la gestión eficientes de LLMs, permitiendo a los…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub
1 de 8