Deskripsi
Selamat datang di dokumentasi resmi akselerator AI Intel® Gaudi®, mencakup versi hingga v1.24. Sumber daya ini dirancang untuk memberdayakan pengembang dan peneliti dalam memanfaatkan potensi penuh akselerator AI Intel® Gaudi® 2 dan Intel® Gaudi® 3.
Baca Selengkapnya
Dokumentasi ini menyediakan informasi mendalam untuk memfasilitasi perjalanan Anda dengan perangkat keras Gaudi. Anda akan menemukan panduan terperinci tentang migrasi model AI Anda yang sudah ada ke platform Gaudi, memastikan transisi yang mulus. Contoh kode praktis disertakan untuk mengilustrasikan berbagai fungsionalitas dan mempercepat proses pengembangan Anda.
Selanjutnya, dokumentasi ini membahas praktik terbaik untuk debugging dan mengoptimalkan beban kerja AI Anda di Gaudi. Ini termasuk tips penyetelan kinerja, wawasan arsitektur, dan strategi untuk mencapai efisiensi maksimum. Referensi API yang komprehensif tersedia untuk membantu Anda memahami dan memanfaatkan seluruh kemampuan Gaudi.
Bagian-bagian utama mencakup instalasi perangkat lunak dan akses platform, memungkinkan Anda untuk menyiapkan lingkungan Anda dengan benar. Fungsionalitas pelatihan dan penskalaan dijelaskan, dengan panduan khusus tentang melatih model PyTorch, menjalankan model besar menggunakan DeepSpeed, dan menskalakan pelatihan multi-node dengan teknik pelatihan terdistribusi. Untuk inferensi, dokumentasi merinci cara menjalankan inferensi PyTorch, memanfaatkan vLLM dan SGLang untuk penyajian model yang efisien, dan bekerja dengan model terkuantisasi menggunakan tipe data FP8 atau INT4.
Dokumentasi ini berfungsi sebagai pusat utama untuk semua informasi yang berkaitan dengan Intel Gaudi, memastikan pengguna memiliki alat dan pengetahuan yang diperlukan untuk membangun dan menerapkan aplikasi AI mutakhir. Akses ke versi dokumentasi yang lebih lama tersedia melalui tombol 'Versi'. Umpan balik tentang pengalaman Anda sangat dihargai untuk membantu meningkatkan iterasi di masa mendatang.
- KategoriPlatform Machine Learning
- PenerapanCloud
- PlatformWeb
Fitur Inti Intel Gaudi
Dokumentasi untuk akselerator AI Intel Gaudi 2 dan Gaudi 3
Panduan migrasi model AI ke Gaudi
Contoh kode untuk berbagai fungsionalitas
Praktik terbaik untuk debugging dan optimasi
Referensi API untuk perangkat keras dan perangkat lunak Gaudi
Panduan instalasi perangkat lunak dan akses platform
Instruksi untuk melatih model PyTorch
Dukungan untuk pelatihan model besar dengan DeepSpeed
Kemampuan pelatihan terdistribusi multi-node
Panduan inferensi PyTorch
Inferensi menggunakan vLLM dan SGLang
Dukungan untuk model terkuantisasi FP8 dan INT4
Kemampuan penyajian model
Memulai dengan Intel Gaudi
Instal Perangkat Lunak: Ikuti Panduan Instalasi untuk menyiapkan perangkat lunak dan konfigurasi sistem yang diperlukan.
Akses Platform: Pelajari cara menjalankan Citra Docker Intel Gaudi di platform pilihan Anda.
Mulai Pelatihan: Mulai melatih model PyTorch dan jelajahi opsi untuk menjalankan model besar dengan DeepSpeed.
Skalakan Pelatihan: Terapkan pelatihan multi-node menggunakan teknik pelatihan terdistribusi.
Jalankan Inferensi: Mulai menjalankan inferensi PyTorch dan jelajahi mesin inferensi canggih seperti vLLM dan SGLang.
Optimalkan Model: Manfaatkan tipe data FP8 atau INT4 untuk menjalankan model terkuantisasi.
Terapkan Model: Jelajahi opsi untuk penyajian model.
Kasus Penggunaan Intel Gaudi
- Migrasi Model
- Pelatihan Model AI
- Penerapan Model Besar
- Inferensi yang Dioptimalkan
- Penyetelan Kinerja
- Penyiapan Platform
