Saltar al contenido principal
ToolPotion
Asesor de IA
Enviar

inferssd

inferssd es un proyecto de código abierto en GitHub diseñado para ejecutar grandes modelos de IA que superan la capacidad de la RAM o VRAM de su sistema. Logra esto transmitiendo de manera eficiente componentes de Mixture-of-Experts (MoE) directamente desde el almacenamiento SSD. Basado en el marco llama.cpp, inferssd permite la ejecución local de modelos avanzados en hardware más limitado, haciendo que la IA potente sea accesible sin requerir actualizaciones extensas de memoria.

Ver repositorio
Compartir
Ver repositorio
Compartir

inferssd es un proyecto de GitHub enfocado en habilitar la ejecución de grandes modelos de IA, específicamente aquellos con arquitecturas de Mixture-of-Experts (MoE), incluso cuando su tamaño supera la RAM o VRAM disponible. La innovación central radica en su capacidad para transmitir expertos de MoE desde el almacenamiento SSD, utilizando efectivamente el disco como una extensión de la memoria del sistema. Este enfoque reduce significativamente los requisitos de hardware para ejecutar modelos avanzados localmente, haciéndolos accesibles a un rango más amplio de usuarios y sistemas.

Leer más

El proyecto se basa en la fundación de llama.cpp, un motor de inferencia de alto rendimiento para grandes modelos de lenguaje. Al aprovechar llama.cpp, inferssd se beneficia de una base optimizada para la ejecución de modelos, mientras extiende sus capacidades para manejar modelos que de otro modo serían demasiado grandes para hardware de consumo típico. Esto es particularmente valioso para investigadores, desarrolladores y entusiastas que desean experimentar o implementar grandes modelos sin invertir en costosas GPU de alta capacidad o grandes cantidades de RAM.

Las capacidades clave incluyen una gestión de memoria eficiente que prioriza la transmisión de componentes del modelo según sea necesario, en lugar de cargar todo el modelo en la memoria volátil de una vez. Este mecanismo de carga dinámica asegura que solo los 'expertos' o segmentos del modelo actualmente activos residan en RAM/VRAM, minimizando la huella de memoria. El proyecto también demuestra un desarrollo continuo, con recientes confirmaciones que indican soporte para inferencia SSD en Windows en laptops y optimizaciones para varias configuraciones de hardware, incluyendo GPUs de memoria unificada en macOS.

inferssd tiene como objetivo democratizar el acceso a grandes modelos de IA superando las limitaciones de hardware comunes. Su naturaleza de código abierto fomenta las contribuciones de la comunidad y el desarrollo adicional, promoviendo la innovación en la inferencia de IA local. La estructura del proyecto, con componentes 'motor' y 'marco' distintos, sugiere un diseño modular que podría facilitar futuras expansiones e integraciones con diferentes arquitecturas de modelos o plataformas de hardware.

  • CategoríaMLOps y despliegue de modelos
  • Modelo de preciosCódigo abierto
  • ImplementaciónAutoalojado
  • PlataformasWindows, macOS

  • Ejecutar modelos más grandes que la RAM o VRAM

  • Transmitir Mixture-of-Experts (MoE) desde SSD

  • Construido sobre llama.cpp para una inferencia eficiente

  • Soporta la ejecución de grandes modelos de IA en hardware limitado

  • Gestión de memoria optimizada para modelos MoE

  • Permite la inferencia local sin actualizaciones extensas de memoria

  • Desarrollo continuo con recientes confirmaciones

  • Soporte para inferencia SSD en Windows en laptops

  • Optimización para GPUs de memoria unificada (por ejemplo, macOS)

  • Arquitectura modular de 'motor' y 'marco'

  • Licencia Apache-2.0 para uso de código abierto

  • Disponible públicamente en GitHub para colaboración

  1. Clonar Repositorio: Use `git clone` para descargar el proyecto inferssd desde GitHub a su máquina local.

  2. Instalar Dependencias: Siga la documentación del proyecto (por ejemplo, en `docs` o `README.md`) para instalar las herramientas de construcción y bibliotecas necesarias, que pueden incluir CMake y compiladores específicos.

  3. Configurar Construcción: Utilice CMake para configurar el proceso de construcción, especificando su plataforma objetivo y cualquier opción deseada.

  4. Compilar Proyecto: Compile el código fuente utilizando su sistema de construcción elegido (por ejemplo, Make o Visual Studio) para generar los ejecutables de inferssd.

  5. Preparar Modelos: Convierta u obtenga modelos MoE compatibles con llama.cpp y el mecanismo de transmisión de inferssd, asegurándose de que estén correctamente formateados para la inferencia SSD.

  6. Ejecutar Inferencia: Ejecute la aplicación inferssd compilada con sus modelos preparados, permitiendo que transmita expertos desde SSD para la inferencia.

  7. Monitorear Rendimiento: Observe el uso de recursos y la velocidad de inferencia, ajustando potencialmente las configuraciones para un rendimiento óptimo en su hardware específico.

  • Inferencia LLM Local
  • Despliegue de Modelos MoE
  • Investigación y Desarrollo de IA
  • Aplicaciones de IA en el Borde
  • Prototipado de IA Rentable

Reseñas de inferssd

Cargando...

Herramientas de IA populares como inferssd

BigMoeOnEdge

Repositorios de IA en GitHub

BigMoeOnEdge permite ejecutar modelos de MoE más grandes que tu RAM en varios dispositivos, incluidos teléfonos y laptops. Utiliza un optimizador de transmisión adaptativa para…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Permite ejecutar modelos de MoE más grandes que tu RAM en varios dispositivos, incluidos teléfonos y laptops. Utiliza un optimizador de transmisión adaptativa para…BigMoeOnEdge permite ejecutar modelos de MoE más grandes que tu RAM en varios dispositivos, incluidos teléfonos y laptops. Utiliza un optimizador de transmisión adaptativa para…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

llama-modchip

Repositorios de IA en GitHub

llama-modchip es un proyecto de GitHub que permite a los usuarios ejecutar modelos de lenguaje grandes como 284B DeepSeek-V4-Flash y 30B MoEs en una CPU pura de 64GB sin GPUs.…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Proyecto de GitHub que permite a los usuarios ejecutar modelos de lenguaje grandes como 284B DeepSeek-V4-Flash y 30B MoEs en una CPU pura de 64GB sin GPUs.…llama-modchip es un proyecto de GitHub que permite a los usuarios ejecutar modelos de lenguaje grandes como 284B DeepSeek-V4-Flash y 30B MoEs en una CPU pura de 64GB sin GPUs.…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

vLLM

Repositorios de IA en GitHub

vllm-project/vllm es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…

MLOps y despliegue de modelos

N.º 23 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…vllm-project/vllm es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…

DestacadaMLOps y despliegue de modelos
N.º 23 en Repositorios de IA en GitHub

trnrt

Repositorios de IA en GitHub

trnrt es un motor de inferencia LLM de código abierto diseñado para AWS Trainium, que ofrece megakernels NKI y soporta un contexto de 1M tokens. Desarrollado por RunAnywhere,…

MLOps y despliegue de modelos

N.º 160 en MLOps y despliegue de modelos

Ver herramienta

Repositorios de IA en GitHub

Motor de inferencia LLM de código abierto diseñado para AWS Trainium, que ofrece megakernels NKI y soporta un contexto de 1M tokens. Desarrollado por RunAnywhere,…trnrt es un motor de inferencia LLM de código abierto diseñado para AWS Trainium, que ofrece megakernels NKI y soporta un contexto de 1M tokens. Desarrollado por RunAnywhere,…

MLOps y despliegue de modelos
N.º 160 en MLOps y despliegue de modelos

Soup

Repositorios de IA en GitHub

Soup es un repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…Soup es un repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

MNN

Repositorios de IA en GitHub

MNN es un motor de inferencia ligero y de alto rendimiento desarrollado por Alibaba. Está diseñado para optimizar los LLMs en dispositivos y aplicaciones de Edge AI,…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Motor de inferencia ligero y de alto rendimiento desarrollado por Alibaba. Está diseñado para optimizar los LLMs en dispositivos y aplicaciones de Edge AI,…MNN es un motor de inferencia ligero y de alto rendimiento desarrollado por Alibaba. Está diseñado para optimizar los LLMs en dispositivos y aplicaciones de Edge AI,…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

LMDeploy

Repositorios de IA en GitHub

LMDeploy es un conjunto de herramientas diseñado para comprimir, implementar y servir modelos de lenguaje grande (LLMs). Proporciona a los desarrolladores las herramientas…

MLOps y despliegue de modelos

N.º 59 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Conjunto de herramientas diseñado para comprimir, implementar y servir modelos de lenguaje grande (LLMs). Proporciona a los desarrolladores las herramientas…LMDeploy es un conjunto de herramientas diseñado para comprimir, implementar y servir modelos de lenguaje grande (LLMs). Proporciona a los desarrolladores las herramientas…

MLOps y despliegue de modelos
N.º 59 en Repositorios de IA en GitHub

AirLLM

Repositorios de IA en GitHub

AirLLM es un proyecto de GitHub que permite la inferencia de 70 mil millones de parámetros utilizando una sola GPU de 4GB. Está diseñado para optimizar el rendimiento de modelos…

MLOps y despliegue de modelos

N.º 73 en Aprendizaje automático y ciencia de datos

Ver herramienta

Repositorios de IA en GitHub

Proyecto de GitHub que permite la inferencia de 70 mil millones de parámetros utilizando una sola GPU de 4GB. Está diseñado para optimizar el rendimiento de modelos…AirLLM es un proyecto de GitHub que permite la inferencia de 70 mil millones de parámetros utilizando una sola GPU de 4GB. Está diseñado para optimizar el rendimiento de modelos…

MLOps y despliegue de modelos
N.º 73 en Aprendizaje automático y ciencia de datos
1 de 8