Petals

Marco de inferencia oficial para modelos de lenguaje de 1 bit (LLMs) desarrollado por Microsoft. Permite un procesamiento y despliegue eficientes de LLMs, optimizando…BitNet es un marco de inferencia oficial para modelos de lenguaje de 1 bit (LLMs) desarrollado por Microsoft. Permite un procesamiento y despliegue eficientes de LLMs, optimizando…

PowerInfer

Repositorios de IA en GitHub

#208

Herramienta de modelo de lenguaje grande de alta velocidad diseñada para implementación local. Permite la inferencia eficiente y rápida de modelos de lenguaje…PowerInfer es una herramienta de modelo de lenguaje grande de alta velocidad diseñada para implementación local. Permite la inferencia eficiente y rápida de modelos de lenguaje…

vLLM

Repositorios de IA en GitHub

#22

Motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…vllm-project/vllm es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…

bitsandbytes

Repositorios de IA en GitHub

Proyecto de GitHub centrado en hacer que los modelos de lenguaje grandes sean más accesibles a través de la cuantización k-bit para PyTorch. Su objetivo es…Bitsandbytes es un proyecto de GitHub centrado en hacer que los modelos de lenguaje grandes sean más accesibles a través de la cuantización k-bit para PyTorch. Su objetivo es…

ColossalAI

Repositorios de IA en GitHub

#65

Proyecto destinado a hacer que los grandes modelos de IA sean más asequibles, rápidos y accesibles. Proporciona herramientas y marcos para optimizar el…ColossalAI es un proyecto destinado a hacer que los grandes modelos de IA sean más asequibles, rápidos y accesibles. Proporciona herramientas y marcos para optimizar el…

FlashInfer

Repositorios de IA en GitHub

Biblioteca de núcleo diseñada para servir modelos de lenguaje grandes (LLMs). Facilita el despliegue y la gestión eficientes de LLMs, permitiendo a los…FlashInfer es una biblioteca de núcleo diseñada para servir modelos de lenguaje grandes (LLMs). Facilita el despliegue y la gestión eficientes de LLMs, permitiendo a los…

MNN

Repositorios de IA en GitHub

Motor de inferencia ligero y de alto rendimiento desarrollado por Alibaba. Está diseñado para optimizar los LLMs en dispositivos y aplicaciones de Edge AI,…MNN es un motor de inferencia ligero y de alto rendimiento desarrollado por Alibaba. Está diseñado para optimizar los LLMs en dispositivos y aplicaciones de Edge AI,…

LocalAI

Repositorios de IA en GitHub

#44

Motor de IA de código abierto que permite a los usuarios ejecutar varios modelos, incluidos LLMs, visión, voz, imagen y video, en cualquier hardware sin necesidad de…LocalAI es un motor de IA de código abierto que permite a los usuarios ejecutar varios modelos, incluidos LLMs, visión, voz, imagen y video, en cualquier hardware sin necesidad de…