Descripción
El Proyecto BigDL, específicamente su componente BigDL-LLM (que ahora está en transición a IPEX-LLM), es una potente biblioteca diseñada para optimizar el rendimiento de los modelos de lenguaje grandes (LLM) en una gama de hardware Intel, incluyendo CPUs y GPUs. Permite a los usuarios ejecutar LLM con una latencia significativamente reducida aprovechando técnicas avanzadas de cuantización como INT4, FP4, INT8 y FP8. Esta optimización es crucial para desplegar modelos de IA complejos de manera eficiente en diversas configuraciones de hardware.
Leer más
Construido sobre el trabajo fundamental de bibliotecas como llama.cpp, gptq, bitsandbytes y qlora, BigDL-LLM proporciona un marco robusto tanto para la inferencia como para el ajuste fino de LLM basados en PyTorch. Las actualizaciones recientes destacan capacidades ampliadas, incluyendo la carga directa de modelos desde ModelScope, soporte inicial de INT2 para ejecutar modelos grandes en GPUs con VRAM limitada, e integración con Text-Generation-WebUI para una experiencia de usuario gráfica. La biblioteca también introduce Self-Speculative Decoding, que ofrece una mejora práctica en la latencia de inferencia en GPUs y CPUs Intel.
Para desarrolladores e investigadores centrados en la personalización de modelos, BigDL-LLM ofrece soporte integral para varios métodos de ajuste fino en GPUs Intel, incluyendo LoRA, QLoRA, DPO, QA-LoRA y ReLoRA. Esto permite la adaptación eficiente de modelos pre-entrenados a tareas y conjuntos de datos específicos. El proyecto ha demostrado velocidades de ajuste fino impresionantes, como el entrenamiento de LLaMA2-7B en menos de 30 minutos en múltiples GPUs Intel. Además, soporta la carga directa de formatos de modelo populares como GGUF, AWQ y GPTQ, y se integra con vLLM para la agrupación continua y FastChat para el servicio.
El ecosistema BigDL se extiende más allá de los LLM, abarcando bibliotecas para análisis de datos distribuidos e IA (Orca), aceleración transparente de TensorFlow y PyTorch (Nano), aprendizaje profundo en Spark (DLlib), análisis de series temporales (Chronos), sistemas de recomendación (Friesian) e IA segura (PPML). BigDL-LLM es un componente clave para aquellos que buscan aprovechar el poder de los LLM en hardware Intel, ofreciendo una solución flexible y de alto rendimiento para una amplia gama de aplicaciones de IA.
- CategoríaMLOps y despliegue de modelos
- Modelo de preciosCódigo abierto
- ImplementaciónNube, Autoalojado
- PlataformasWeb
Características principales de BigDL LLM
Inferencia de LLM optimizada en Intel XPU (CPU, GPU)
Soporta cuantización INT4, FP4, INT8, FP8
Inferencia de baja latencia para modelos PyTorch
Construido sobre llama.cpp, gptq, bitsandbytes, qlora
Carga directa de modelos GGUF, AWQ, GPTQ
Ajuste fino integral de LLM en GPU Intel (LoRA, QLoRA, DPO, QA-LoRA, ReLoRA)
Self-Speculative Decoding para ~30% de mejora de velocidad
Soporta agrupación continua de vLLM
Servicio FastChat en CPU y GPU Intel
Carga directa desde ModelScope
Soporte inicial de INT2 para LLM grandes en GPUs con 16GB de VRAM
Integración con Text-Generation-WebUI
Primeros pasos con BigDL LLM
Instalar BigDL-LLM vía pip: `pip install --pre --upgrade bigdl-llm[all]` para CPU o `bigdl-llm[xpu]` para GPU.
Cargar modelos Hugging Face Transformers con optimizaciones INT4 usando `AutoModelForCausalLM.from_pretrained`.
Ejecutar modelos optimizados en CPU Intel especificando la ruta del modelo.
Ejecutar modelos optimizados en GPU Intel moviendo el modelo y los tensores de entrada al dispositivo 'xpu'.
Configurar parámetros de ajuste fino para LoRA, QLoRA, DPO, QA-LoRA o ReLoRA.
Utilizar FastChat o vLLM para servir LLM optimizados.
Integrar con LangChain para el desarrollo de aplicaciones LLM.
Casos de uso de BigDL LLM
- Inferencia de LLM de baja latencia
- Ajuste fino de LLM
- Despliegue eficiente de modelos
- Desarrollo de aplicaciones de IA
- Entrenamiento de modelos grandes con VRAM limitada
- Generación de texto acelerada
