Dokumentasi Intel Gaudi

Deskripsi

Selamat datang di dokumentasi resmi akselerator AI Intel® Gaudi®, mencakup versi hingga v1.24. Sumber daya ini dirancang untuk memberdayakan pengembang dan peneliti dalam memanfaatkan potensi penuh akselerator AI Intel® Gaudi® 2 dan Intel® Gaudi® 3.

Dokumentasi ini menyediakan informasi mendalam untuk memfasilitasi perjalanan Anda dengan perangkat keras Gaudi. Anda akan menemukan panduan terperinci tentang migrasi model AI Anda yang sudah ada ke platform Gaudi, memastikan transisi yang mulus. Contoh kode praktis disertakan untuk mengilustrasikan berbagai fungsionalitas dan mempercepat proses pengembangan Anda.

Selanjutnya, dokumentasi ini membahas praktik terbaik untuk debugging dan mengoptimalkan beban kerja AI Anda di Gaudi. Ini termasuk tips penyetelan kinerja, wawasan arsitektur, dan strategi untuk mencapai efisiensi maksimum. Referensi API yang komprehensif tersedia untuk membantu Anda memahami dan memanfaatkan seluruh kemampuan Gaudi.

Bagian-bagian utama mencakup instalasi perangkat lunak dan akses platform, memungkinkan Anda untuk menyiapkan lingkungan Anda dengan benar. Fungsionalitas pelatihan dan penskalaan dijelaskan, dengan panduan khusus tentang melatih model PyTorch, menjalankan model besar menggunakan DeepSpeed, dan menskalakan pelatihan multi-node dengan teknik pelatihan terdistribusi. Untuk inferensi, dokumentasi merinci cara menjalankan inferensi PyTorch, memanfaatkan vLLM dan SGLang untuk penyajian model yang efisien, dan bekerja dengan model terkuantisasi menggunakan tipe data FP8 atau INT4.

Dokumentasi ini berfungsi sebagai pusat utama untuk semua informasi yang berkaitan dengan Intel Gaudi, memastikan pengguna memiliki alat dan pengetahuan yang diperlukan untuk membangun dan menerapkan aplikasi AI mutakhir. Akses ke versi dokumentasi yang lebih lama tersedia melalui tombol 'Versi'. Umpan balik tentang pengalaman Anda sangat dihargai untuk membantu meningkatkan iterasi di masa mendatang.

Fitur Inti Dokumentasi Intel Gaudi

• Dokumentasi untuk akselerator AI Intel Gaudi 2 dan Gaudi 3

• Panduan migrasi model AI ke Gaudi

• Contoh kode untuk berbagai fungsionalitas

• Praktik terbaik untuk debugging dan optimasi

• Referensi API untuk perangkat keras dan perangkat lunak Gaudi

• Panduan instalasi perangkat lunak dan akses platform

• Instruksi untuk melatih model PyTorch

• Dukungan untuk pelatihan model besar dengan DeepSpeed

• Kemampuan pelatihan terdistribusi multi-node

• Panduan inferensi PyTorch

• Inferensi menggunakan vLLM dan SGLang

• Dukungan untuk model terkuantisasi FP8 dan INT4

• Kemampuan penyajian model

Memulai dengan Dokumentasi Intel Gaudi

1. 1

   Instal Perangkat Lunak: Ikuti Panduan Instalasi untuk menyiapkan perangkat lunak dan konfigurasi sistem yang diperlukan.

2. 2

   Akses Platform: Pelajari cara menjalankan Citra Docker Intel Gaudi di platform pilihan Anda.

3. 3

   Mulai Pelatihan: Mulai melatih model PyTorch dan jelajahi opsi untuk menjalankan model besar dengan DeepSpeed.

4. 4

   Skalakan Pelatihan: Terapkan pelatihan multi-node menggunakan teknik pelatihan terdistribusi.

5. 5

   Jalankan Inferensi: Mulai menjalankan inferensi PyTorch dan jelajahi mesin inferensi canggih seperti vLLM dan SGLang.

6. 6

   Optimalkan Model: Manfaatkan tipe data FP8 atau INT4 untuk menjalankan model terkuantisasi.

7. 7

   Terapkan Model: Jelajahi opsi untuk penyajian model.

Kasus Penggunaan Dokumentasi Intel Gaudi

• Migrasi Model
• Pelatihan Model AI
• Penerapan Model Besar
• Inferensi yang Dioptimalkan
• Penyetelan Kinerja
• Penyiapan Platform

FAQ dari Dokumentasi Intel Gaudi

• Akselerator AI apa saja yang dicakup oleh dokumentasi Intel Gaudi?

  Dokumentasi ini mencakup akselerator AI Intel® Gaudi® 2 dan akselerator AI Intel® Gaudi® 3.

• Di mana saya dapat menemukan informasi tentang migrasi model ke Gaudi?

  Panduan terperinci tentang migrasi model ke Gaudi tersedia dalam dokumentasi.

• Apakah dokumentasi menyertakan contoh kode?

  Ya, dokumentasi menyediakan contoh kode praktis untuk membantu pengguna.

• Bagaimana cara mengoptimalkan model AI saya di Gaudi?

  Dokumentasi menawarkan praktik terbaik untuk optimasi, termasuk informasi tentang penggunaan tipe data FP8 atau INT4 untuk model terkuantisasi.

• Apa saja langkah-langkah untuk instalasi perangkat lunak?

  Anda dapat menemukan instruksi terperinci di bagian 'Panduan Instalasi' dalam dokumentasi.

• Bagaimana cara menyiapkan dan menjalankan pelatihan di Gaudi?

  Dokumentasi mencakup bagian tentang 'Pelatihan dan Penskalaan' yang mencakup penyiapan model PyTorch dan pelatihan terdistribusi.

• Opsi apa saja yang tersedia untuk inferensi model?

  Dokumentasi merinci cara menjalankan inferensi PyTorch, menggunakan vLLM, SGLang, dan bekerja dengan model terkuantisasi.

• Bisakah saya mengakses versi dokumentasi yang lebih lama?

  Ya, versi dokumentasi yang lebih lama dapat diakses menggunakan tombol 'Versi' yang terletak di sisi kanan bawah halaman.

• Apa tujuan dari dokumentasi Intel Gaudi?

  Tujuannya adalah untuk menyediakan sumber daya yang komprehensif untuk penggunaan akselerator AI Intel Gaudi, mencakup segalanya mulai dari instalasi hingga optimasi dan penerapan lanjutan.

• Apakah dokumentasi mencakup pelatihan multi-node?

  Ya, bagian 'Pelatihan dan Penskalaan' mencakup informasi tentang penskalaan pelatihan multi-node menggunakan teknik pelatihan terdistribusi.