Beschreibung
Das BigDL-Projekt, insbesondere seine Komponente BigDL-LLM (die derzeit zu IPEX-LLM übergeht), ist eine leistungsstarke Bibliothek zur Optimierung der Leistung großer Sprachmodelle (LLMs) auf einer Reihe von Intel-Hardware, einschließlich CPUs und GPUs. Sie ermöglicht Benutzern die Ausführung von LLMs mit erheblich reduzierter Latenz durch den Einsatz fortschrittlicher Quantisierungstechniken wie INT4, FP4, INT8 und FP8. Diese Optimierung ist entscheidend für die effiziente Bereitstellung komplexer KI-Modelle auf vielfältigen Hardwarekonfigurationen.
Weiterlesen
Aufbauend auf der grundlegenden Arbeit von Bibliotheken wie llama.cpp, gptq, bitsandbytes und qlora bietet BigDL-LLM ein robustes Framework sowohl für die Inferenz als auch für das Finetuning von PyTorch-basierten LLMs. Aktuelle Updates heben erweiterte Funktionen hervor, darunter das direkte Laden von Modellen aus ModelScope, die anfängliche INT2-Unterstützung für die Ausführung großer Modelle auf GPUs mit begrenztem VRAM und die Integration mit Text-Generation-WebUI für eine grafische Benutzeroberfläche. Die Bibliothek führt auch Self-Speculative Decoding ein, das eine praktische Beschleunigung der Inferenzlatenz auf Intel GPUs und CPUs bietet.
Für Entwickler und Forscher, die sich auf die Modellkuration konzentrieren, bietet BigDL-LLM umfassende Unterstützung für verschiedene Finetuning-Methoden auf Intel GPUs, einschließlich LoRA, QLoRA, DPO, QA-LoRA und ReLoRA. Dies ermöglicht eine effiziente Anpassung vortrainierter Modelle an spezifische Aufgaben und Datensätze. Das Projekt hat beeindruckende Finetuning-Geschwindigkeiten gezeigt, wie z. B. das Training von LLaMA2-7B in unter 30 Minuten auf mehreren Intel GPUs. Darüber hinaus unterstützt es das direkte Laden gängiger Modellformate wie GGUF, AWQ und GPTQ und integriert sich mit vLLM für kontinuierliches Batching und FastChat für das Serving.
Das BigDL-Ökosystem reicht über LLMs hinaus und umfasst Bibliotheken für verteilte Datenanalysen und KI (Orca), transparente Beschleunigung von TensorFlow und PyTorch (Nano), Deep Learning auf Spark (DLlib), Zeitreihenanalyse (Chronos), Empfehlungssysteme (Friesian) und sichere KI (PPML). BigDL-LLM ist eine Schlüsselkomponente für alle, die die Leistung von LLMs auf Intel-Hardware nutzen möchten, und bietet eine flexible und performante Lösung für eine breite Palette von KI-Anwendungen.
- KategorieMLOps & Modell-Deployment
- PreismodellOpen Source
- BereitstellungCloud, Selbst gehostet
- PlattformenWeb
BigDL LLM's Kernfunktionen
Optimierte LLM-Inferenz auf Intel XPU (CPU, GPU)
Unterstützt INT4, FP4, INT8, FP8-Quantisierung
Inferenz mit geringer Latenz für PyTorch-Modelle
Aufgebaut auf llama.cpp, gptq, bitsandbytes, qlora
Direktes Laden von GGUF-, AWQ-, GPTQ-Modellen
Umfassendes LLM-Finetuning auf Intel GPU (LoRA, QLoRA, DPO, QA-LoRA, ReLoRA)
Self-Speculative Decoding für ca. 30 % Beschleunigung
Unterstützt vLLM Continuous Batching
FastChat Serving auf Intel CPU und GPU
Direktes Laden von ModelScope
Anfängliche INT2-Unterstützung für große LLMs auf GPUs mit 16 GB VRAM
Integration mit Text-Generation-WebUI
Erste Schritte mit BigDL LLM
Installieren Sie BigDL-LLM über pip: `pip install --pre --upgrade bigdl-llm[all]` für CPU oder `bigdl-llm[xpu]` für GPU.
Laden Sie Hugging Face Transformers-Modelle mit INT4-Optimierungen über `AutoModelForCausalLM.from_pretrained`.
Führen Sie optimierte Modelle auf Intel CPU aus, indem Sie den Modellpfad angeben.
Führen Sie optimierte Modelle auf Intel GPU aus, indem Sie das Modell und die Eingabetensoren auf das 'xpu'-Gerät verschieben.
Konfigurieren Sie Finetuning-Parameter für LoRA, QLoRA, DPO, QA-LoRA oder ReLoRA.
Nutzen Sie FastChat oder vLLM zum Servieren optimierter LLMs.
Integrieren Sie mit LangChain für die Entwicklung von LLM-Anwendungen.
BigDL LLM's Anwendungsfälle
- LLM-Inferenz mit geringer Latenz
- LLM-Finetuning
- Effiziente Modellbereitstellung
- Entwicklung von KI-Anwendungen
- Training großer Modelle auf begrenztem VRAM
- Beschleunigte Textgenerierung
