Intel® Neural Compressor

Deskripsi

Intel® Neural Compressor adalah pustaka Python open-source yang kuat yang dirancang untuk meningkatkan kinerja model deep learning melalui berbagai teknik kompresi. Pustaka ini terintegrasi secara mulus dengan kerangka kerja utama seperti PyTorch, TensorFlow, dan JAX, menjadikannya alat yang serbaguna bagi pengembang dan peneliti.

Pustaka ini menyediakan rangkaian lengkap metode kompresi model, termasuk Kuantisasi Statis, Kuantisasi Dinamis, SmoothQuant, Kuantisasi Hanya Bobot, Pelatihan Sadar Kuantisasi, dan Presisi Campuran. Kemampuan utama adalah dukungannya untuk kuantisasi lanjutan Model Bahasa Besar (LLM) dan Model Bahasa Visi (VLM) seperti LLaMA, Qwen, dan DeepSeek, memanfaatkan integrasi dengan AutoRound untuk tipe data presisi rendah yang dioptimalkan.

Intel® Neural Compressor direkayasa untuk kompatibilitas perangkat keras yang luas. Pustaka ini menawarkan pengujian dan dukungan ekstensif untuk berbagai perangkat keras Intel, termasuk Akselerator AI Intel Gaudi, Prosesor Intel Core Ultra, Prosesor Intel Xeon Skalabel, Seri Maksimum CPU Intel Xeon, Seri Fleksibel GPU Pusat Data Intel, dan Seri Maksimum GPU Pusat Data Intel. Selain itu, pustaka ini menyediakan dukungan pengujian terbatas untuk CPU AMD, CPU ARM, dan GPU NVIDIA.

Dokumentasi pustaka merinci prosedur instalasi untuk kerangka kerja dan perangkat keras yang berbeda. Pengguna dapat menginstal Neural Compressor dengan dependensi kerangka kerja tertentu melalui pip, seperti `neural-compressor-pt` untuk PyTorch atau `neural-compressor-tf` untuk TensorFlow. Untuk JAX, metode instalasi build-from-source tersedia. Dokumentasi juga mencakup panduan memulai dengan contoh kode untuk teknik seperti Kuantisasi FP8 pada Akselerator AI Intel Gaudi2 dan pemuatan LLM hanya bobot.

Pembaruan terbaru menyoroti dukungan eksperimental untuk kuantisasi FP8 di Keras/JAX, kuantisasi statis FP8 KV cache/Attention dengan AutoRound, dan kuantisasi NVFP4/MXFP4. Proyek ini secara aktif mendorong kontribusi dan kolaborasi, dengan panduan yang jelas untuk laporan bug, permintaan fitur, dan ide penelitian melalui Isu GitHub dan email.

Fitur Inti Intel® Neural Compressor

• Mendukung kerangka kerja PyTorch, TensorFlow, dan JAX

• Menawarkan Kuantisasi Statis, Kuantisasi Dinamis, SmoothQuant, Kuantisasi Hanya Bobot

• Memungkinkan Pelatihan Sadar Kuantisasi dan Presisi Campuran

• Kuantisasi lanjutan untuk LLM dan VLM (misalnya, LLaMA, Qwen)

• Integrasi dengan AutoRound untuk tipe data presisi rendah yang dioptimalkan

• Dukungan ekstensif untuk perangkat keras Intel (Gaudi, Xeon, Core Ultra, GPU Pusat Data)

• Dukungan terbatas untuk CPU AMD, CPU ARM, dan GPU NVIDIA

• Dukungan kuantisasi FP8 eksperimental untuk Keras/JAX

• Kuantisasi statis FP8 KV cache/Attention eksperimental

• Dukungan kuantisasi NVFP4 dan MXFP4 eksperimental

• Pemuatan model bahasa besar hanya bobot

Memulai dengan Intel® Neural Compressor

1. 1

   Instal dependensi kerangka kerja: Pilih dan instal paket yang diperlukan berdasarkan lingkungan penerapan Anda (misalnya, `pip install neural-compressor-pt`).

2. 2

   Konfigurasi kuantisasi: Tentukan konfigurasi kuantisasi, seperti FP8Config, untuk model Anda.

3. 3

   Siapkan model: Gunakan fungsi `prepare` untuk mengintegrasikan konfigurasi kuantisasi ke dalam model Anda.

4. 4

   Konversi model: Terapkan fungsi `convert` untuk menyelesaikan kompresi model.

5. 5

   Terapkan dan optimalkan: Integrasikan model yang terkompresi ke dalam aplikasi Anda untuk kinerja inferensi yang lebih baik.

Kasus Penggunaan Intel® Neural Compressor

• Kuantisasi LLM
• Optimasi VLM
• Akselerasi Perangkat Keras
• Integrasi Kerangka Kerja
• Penyetelan Kinerja
• Pelatihan Presisi Campuran

FAQ dari Intel® Neural Compressor

• Kerangka kerja deep learning apa saja yang didukung oleh Intel® Neural Compressor?

  Intel® Neural Compressor mendukung kerangka kerja populer termasuk PyTorch, TensorFlow, dan JAX.

• Teknik kompresi model apa saja yang tersedia dengan Intel® Neural Compressor?

  Pustaka ini menawarkan teknik seperti Kuantisasi Statis, Kuantisasi Dinamis, SmoothQuant, Kuantisasi Hanya Bobot, Pelatihan Sadar Kuantisasi, dan Presisi Campuran.

• Perangkat keras Intel mana yang didukung oleh Intel® Neural Compressor?

  Pustaka ini mendukung berbagai perangkat keras Intel termasuk Akselerator AI Intel Gaudi, Prosesor Intel Core Ultra, Prosesor Intel Xeon Skalabel, Seri Maksimum CPU Intel Xeon, dan GPU Pusat Data Intel.

• Apakah Intel® Neural Compressor mendukung LLM dan VLM?

  Ya, pustaka ini mendukung kuantisasi lanjutan Model Bahasa Besar (LLM) dan Model Bahasa Visi (VLM) seperti LLaMA dan Qwen.

• Bagaimana cara menginstal Intel® Neural Compressor untuk PyTorch?

  Anda dapat menginstalnya menggunakan pip dengan perintah `pip install neural-compressor-pt`.

• Apakah ada dukungan untuk JAX?

  Ya, dukungan JAX tersedia sejak versi 3.8, dengan instalasi biasanya memerlukan build dari sumber.

• Apa saja fitur eksperimental terbaru?

  Fitur eksperimental terbaru meliputi kuantisasi FP8 untuk Keras/JAX, kuantisasi statis FP8 KV cache/Attention, dan kuantisasi NVFP4/MXFP4.

• Bisakah saya menggunakan Intel® Neural Compressor dengan GPU NVIDIA?

  Intel® Neural Compressor menyediakan dukungan pengujian terbatas untuk GPU NVIDIA.

• Di mana saya dapat melaporkan bug atau meminta fitur baru?

  Laporan bug, permintaan fitur baru, dan pertanyaan dapat diajukan melalui Isu GitHub.

• Apa manfaat menggunakan kuantisasi hanya bobot?

  Kuantisasi hanya bobot sangat berguna untuk mengompresi model bahasa besar, mengurangi jejak memori dan meningkatkan kecepatan inferensi.