Saltar al contenido principal
ToolPotion
Asesor de IA
Enviar

BigMoeOnEdge

Repositorios de IA en GitHubMLOps y despliegue de modelosCódigo abierto · Windows, macOS, Linux

BigMoeOnEdge permite ejecutar modelos de MoE más grandes que tu RAM en varios dispositivos, incluidos teléfonos y laptops. Utiliza un optimizador de transmisión adaptativa para garantizar un rendimiento sin pérdidas en cualquier hardware o sistema operativo, aprovechando llama.cpp.

Ver repositorio
Compartir
Ver repositorio
Compartir

BigMoeOnEdge es un proyecto diseñado para facilitar la ejecución de modelos de Mezcla de Expertos (MoE) que superan la RAM disponible en dispositivos como teléfonos, laptops y dispositivos de borde. Esta herramienta es particularmente beneficiosa para los usuarios que necesitan ejecutar modelos a gran escala sin las limitaciones de hardware típicas. Al utilizar un optimizador de transmisión adaptativa, BigMoeOnEdge asegura que los modelos operen sin pérdidas, manteniendo un alto rendimiento independientemente del hardware o sistema operativo en uso.

Leer más

El proyecto se basa en llama.cpp, un marco bien conocido para la ejecución de modelos, y está diseñado para ser compatible con cualquier hardware, sistema operativo, modelo y método de cuantización. Esta flexibilidad lo convierte en una solución ideal para desarrolladores e investigadores que requieren capacidades robustas de ejecución de modelos en diversos entornos.

BigMoeOnEdge opera detrás de un servidor local compatible con OpenAI, proporcionando una integración fluida para los usuarios familiarizados con el ecosistema de OpenAI. Esta compatibilidad asegura que los usuarios puedan aprovechar las herramientas y flujos de trabajo existentes sin ajustes significativos.

El repositorio se mantiene activamente, con commits recientes que indican un desarrollo y mejoras continuas. El proyecto es de código abierto, lo que permite a los desarrolladores contribuir y personalizar la herramienta para adaptarse a necesidades específicas. Con un enfoque en la accesibilidad y el rendimiento, BigMoeOnEdge es un recurso valioso para aquellos que buscan ampliar los límites de la ejecución de modelos en hardware limitado.

  • CategoríaMLOps y despliegue de modelos
  • Modelo de preciosCódigo abierto
  • ImplementaciónSe ejecuta en local
  • PlataformasWindows, macOS, Linux

  • Ejecutar modelos de MoE más grandes que la RAM

  • Optimizador de transmisión adaptativa

  • Rendimiento sin pérdidas

  • Compatible con cualquier hardware

  • Soporta cualquier sistema operativo

  • Funciona con cualquier modelo

  • Servidor compatible con OpenAI

  • Construido sobre llama.cpp

  1. Clonar: Descargar el repositorio de GitHub

  2. Instalar dependencias: Configurar las bibliotecas y herramientas necesarias

  3. Configurar: Ajustar la configuración para tu hardware y modelo específicos

  4. Ejecutar: Correr los modelos de MoE utilizando los scripts proporcionados

  5. Optimizar: Usar el optimizador de transmisión adaptativa para el mejor rendimiento

  • Ejecución de Modelos Móviles
  • Computación en el Borde
  • Compatibilidad Multiplataforma
  • Investigación y Desarrollo
  • Integración con OpenAI

Reseñas de BigMoeOnEdge

Cargando...

Herramientas de IA populares como BigMoeOnEdge

Soup

Repositorios de IA en GitHub

Soup es un repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…Soup es un repositorio de GitHub que permite el ajuste fino de modelos de lenguaje grandes (LLMs) utilizando un solo archivo YAML. Utiliza el streaming de capas para entrenar un…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

MNN

Repositorios de IA en GitHub

MNN es un motor de inferencia ligero y de alto rendimiento desarrollado por Alibaba. Está diseñado para optimizar los LLMs en dispositivos y aplicaciones de Edge AI,…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Motor de inferencia ligero y de alto rendimiento desarrollado por Alibaba. Está diseñado para optimizar los LLMs en dispositivos y aplicaciones de Edge AI,…MNN es un motor de inferencia ligero y de alto rendimiento desarrollado por Alibaba. Está diseñado para optimizar los LLMs en dispositivos y aplicaciones de Edge AI,…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

LMDeploy

Repositorios de IA en GitHub

LMDeploy es un conjunto de herramientas diseñado para comprimir, implementar y servir modelos de lenguaje grande (LLMs). Proporciona a los desarrolladores las herramientas…

MLOps y despliegue de modelos

N.º 59 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Conjunto de herramientas diseñado para comprimir, implementar y servir modelos de lenguaje grande (LLMs). Proporciona a los desarrolladores las herramientas…LMDeploy es un conjunto de herramientas diseñado para comprimir, implementar y servir modelos de lenguaje grande (LLMs). Proporciona a los desarrolladores las herramientas…

MLOps y despliegue de modelos
N.º 59 en Repositorios de IA en GitHub

DeepInfer

Repositorios de IA en GitHub

DeepInfer es un marco de inferencia de alto rendimiento y gran escala diseñado para modelos DeepSeek. Facilita procesos de inferencia eficientes y escalables, lo que lo hace ideal…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Marco de inferencia de alto rendimiento y gran escala diseñado para modelos DeepSeek. Facilita procesos de inferencia eficientes y escalables, lo que lo hace ideal…DeepInfer es un marco de inferencia de alto rendimiento y gran escala diseñado para modelos DeepSeek. Facilita procesos de inferencia eficientes y escalables, lo que lo hace ideal…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

SiliconFlow

Plataformas de IA

Una plataforma de infraestructura de IA para que los desarrolladores implementen, ajusten y ejecuten más de 200 LLMs y modelos multimodales optimizados a través de una API…

MLOps y despliegue de modelos
Ver herramienta

Plataformas de IA

Una plataforma de infraestructura de IA para que los desarrolladores implementen, ajusten y ejecuten más de 200 LLMs y modelos multimodales optimizados a través de una API…

DestacadaMLOps y despliegue de modelos
Ver el Top 150 de Plataformas de IA

mlc-llm

Repositorios de IA en GitHub

mlc-llm es un motor de implementación universal de LLM que utiliza la compilación de aprendizaje automático para agilizar el proceso de implementación. Está diseñado para mejorar…

MLOps y despliegue de modelos
Ver herramienta

Repositorios de IA en GitHub

Motor de implementación universal de LLM que utiliza la compilación de aprendizaje automático para agilizar el proceso de implementación. Está diseñado para mejorar…mlc-llm es un motor de implementación universal de LLM que utiliza la compilación de aprendizaje automático para agilizar el proceso de implementación. Está diseñado para mejorar…

MLOps y despliegue de modelos
Ver el Top 250 de Repositorios de IA en GitHub

vLLM

Repositorios de IA en GitHub

vllm-project/vllm es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…

MLOps y despliegue de modelos

N.º 23 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…vllm-project/vllm es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…

DestacadaMLOps y despliegue de modelos
N.º 23 en Repositorios de IA en GitHub

Bento

Plataformas de IA

Bento es una plataforma de inferencia diseñada para velocidad y control, que le permite desplegar cualquier modelo de IA en cualquier lugar. Ofrece optimización a medida, escalado…

MLOps y despliegue de modelos
Ver herramienta

Plataformas de IA

Plataforma de inferencia diseñada para velocidad y control, que le permite desplegar cualquier modelo de IA en cualquier lugar. Ofrece optimización a medida, escalado…Bento es una plataforma de inferencia diseñada para velocidad y control, que le permite desplegar cualquier modelo de IA en cualquier lugar. Ofrece optimización a medida, escalado…

DestacadaMLOps y despliegue de modelos
Ver el Top 150 de Plataformas de IA
1 de 8