Beschreibung
Willkommen zur offiziellen Dokumentation für Intel® Gaudi® KI-Beschleuniger, die Versionen bis v1.24 abdeckt. Diese Ressource wurde entwickelt, um Entwickler und Forscher in die Lage zu versetzen, das volle Potenzial der Intel® Gaudi® 2 und Intel® Gaudi® 3 KI-Beschleuniger auszuschöpfen.
Weiterlesen
Die Dokumentation liefert tiefgehende Informationen, um Ihre Arbeit mit Gaudi-Hardware zu erleichtern. Sie finden detaillierte Anleitungen zur Migration Ihrer bestehenden KI-Modelle auf die Gaudi-Plattform, um einen reibungslosen Übergang zu gewährleisten. Praktische Codebeispiele sind enthalten, um verschiedene Funktionalitäten zu veranschaulichen und Ihren Entwicklungsprozess zu beschleunigen.
Darüber hinaus befasst sich die Dokumentation mit Best Practices für das Debugging und die Optimierung Ihrer KI-Workloads auf Gaudi. Dies umfasst Tipps zur Leistungsoptimierung, Einblicke in die Architektur und Strategien zur Erzielung maximaler Effizienz. Umfassende API-Referenzen stehen zur Verfügung, um Ihnen zu helfen, die volle Bandbreite der Gaudi-Funktionen zu verstehen und zu nutzen.
Schlüsselabschnitte behandeln die Softwareinstallation und den Plattformzugriff, damit Sie Ihre Umgebung korrekt einrichten können. Trainings- und Skalierungsfunktionen werden erläutert, mit spezifischen Anleitungen zum Trainieren von PyTorch-Modellen, zum Ausführen großer Modelle mit DeepSpeed und zum Skalieren von Multi-Node-Trainings mit verteilten Trainingstechniken. Für die Inferenz beschreibt die Dokumentation, wie PyTorch-Inferenz ausgeführt wird, wie vLLM und SGLang für effizientes Model Serving genutzt werden und wie mit quantisierten Modellen unter Verwendung von FP8- oder INT4-Datentypen gearbeitet wird.
Diese Dokumentation dient als zentrale Anlaufstelle für alle Informationen zu Intel Gaudi und stellt sicher, dass Benutzer die notwendigen Werkzeuge und Kenntnisse besitzen, um zukunftsweisende KI-Anwendungen zu erstellen und bereitzustellen. Der Zugriff auf ältere Dokumentationsversionen ist über die Schaltfläche „Versionen“ möglich. Feedback zu Ihrer Erfahrung ist erwünscht, um zukünftige Iterationen zu verbessern.
- KategorieMachine-Learning-Plattformen
- BereitstellungCloud
- PlattformenWeb
Intel Gaudi's Kernfunktionen
Dokumentation für Intel Gaudi 2 und Gaudi 3 KI-Beschleuniger
Anleitungen zur Migration von KI-Modellen auf Gaudi
Codebeispiele für verschiedene Funktionalitäten
Best Practices für Debugging und Optimierung
API-Referenzen für Gaudi-Hardware und -Software
Anleitungen zur Softwareinstallation und zum Plattformzugriff
Anweisungen zum Trainieren von PyTorch-Modellen
Unterstützung für das Training großer Modelle mit DeepSpeed
Multi-Node-Distributed-Training-Funktionen
Anleitungen zur PyTorch-Inferenz
Inferenz mit vLLM und SGLang
Unterstützung für FP8 und INT4 quantisierte Modelle
Model Serving-Funktionen
Erste Schritte mit Intel Gaudi
Software installieren: Folgen Sie der Installationsanleitung, um die notwendige Software und Systemkonfigurationen einzurichten.
Plattform zugreifen: Erfahren Sie, wie Sie das Intel Gaudi Docker Image auf Ihrer gewählten Plattform ausführen.
Training starten: Beginnen Sie mit dem Training von PyTorch-Modellen und erkunden Sie Optionen für das Ausführen großer Modelle mit DeepSpeed.
Training skalieren: Implementieren Sie Multi-Node-Training mit verteilten Trainingstechniken.
Inferenz ausführen: Beginnen Sie mit der Ausführung von PyTorch-Inferenz und erkunden Sie fortgeschrittene Inferenz-Engines wie vLLM und SGLang.
Modelle optimieren: Nutzen Sie FP8- oder INT4-Datentypen für das Ausführen quantisierter Modelle.
Modelle bereitstellen: Erkunden Sie Optionen für Model Serving.
Intel Gaudi's Anwendungsfälle
- Modellmigration
- KI-Modelltraining
- Bereitstellung großer Modelle
- Optimierte Inferenz
- Performance-Tuning
- Plattform-Setup
