Langsung ke konten utama
ToolPotion
Penasihat AI
Kirim (Gratis)

DeepSeek V3 JAX

Repositori GitHub AIModel AI & LLMOpen source · macOS, Linux

DeepSeek V3 JAX adalah implementasi sumber terbuka dari model DeepSeek V3, termasuk MLA, DeepSeekMoE, penyeimbangan tanpa aux-loss, dan MTP. Dikembangkan dalam 190 baris kode JAX murni, proyek ini menunjukkan cara melatih dan mengambil sampel model, bahkan di MacBook Air. Ini menyediakan cara yang ringkas dan efisien untuk mengeksplorasi arsitektur model bahasa besar yang canggih.

Lihat Repositori
Bagikan
Lihat Repositori
Bagikan

DeepSeek V3 JAX adalah implementasi sumber terbuka yang ringkas dan efisien dari arsitektur model bahasa besar DeepSeek V3. Proyek ini, yang dikembangkan oleh Vaibhaav Tiwari, menyaring desain kompleks DeepSeek V3, yang menggabungkan fitur-fitur seperti Multi-Layer Attention (MLA), DeepSeekMoE (Mixture-of-Experts), penyeimbangan tanpa aux-loss, dan Multi-Task Pre-training (MTP), menjadi sekitar 190 baris kode JAX murni.

Baca Selengkapnya

Repositori ini menyediakan panduan komprehensif untuk memahami, melatih, dan mengambil sampel model DeepSeek V3. Ini mencakup skrip untuk definisi model, loop pelatihan, persiapan data, dan pengambilan sampel, menjadikannya dapat diakses bagi peneliti dan pengembang yang tertarik untuk bereksperimen dengan arsitektur LLM yang canggih. Aspek penting dari implementasi ini adalah kemampuannya yang terbukti untuk dilatih di MacBook Air, menyoroti efisiensi dan potensinya untuk pengembangan dan eksperimen lokal.

Proyek ini menekankan kejelasan dan ringkas, menawarkan pendekatan minimalis untuk menerapkan model yang canggih. Ini berfungsi sebagai sumber pendidikan bagi mereka yang ingin menyelami rincian komponen DeepSeek V3 dan implementasinya di JAX. Repositori ini juga mencakup tes untuk memastikan kebenaran dan menyediakan panduan reproduksi lengkap, lengkap dengan angka dan hasil yang terverifikasi, memungkinkan pengguna untuk mereplikasi kinerja yang dilaporkan.

Di luar implementasi model inti, DeepSeek V3 JAX juga menangani aspek praktis seperti pengaturan ROCm (AMD GPU) untuk pelatihan di Linux, menunjukkan adaptabilitasnya terhadap berbagai lingkungan perangkat keras. Penyertaan tulisan rinci di vaibhaav.in/writing/deepseek-v3-jax menawarkan wawasan lebih lanjut tentang pilihan desain dan dasar teoritis proyek, menjadikannya sumber yang berharga untuk aplikasi praktis dan studi akademis.

  • KategoriModel AI & LLM
  • Model HargaOpen source
  • PenerapanDi-host sendiri
  • PlatformmacOS, Linux

  • Implementasi model DeepSeek V3 dalam JAX

  • Termasuk Multi-Layer Attention (MLA)

  • Menggabungkan arsitektur DeepSeekMoE

  • Fitur penyeimbangan tanpa aux-loss

  • Mendukung Multi-Task Pre-training (MTP)

  • Basis kode ringkas (sekitar 190 baris JAX)

  • Pelatihan yang terbukti di MacBook Air

  • Skrip untuk model, pelatihan, pengambilan sampel, dan persiapan data

  • Termasuk tes untuk verifikasi

  • Panduan reproduksi lengkap dengan hasil yang terverifikasi

  • Pengaturan ROCm (AMD GPU) untuk pelatihan Linux

  • Lisensi MIT untuk penggunaan sumber terbuka

  1. Clone repositori: Dapatkan file proyek dari GitHub.

  2. Instal dependensi: Gunakan `requirements.txt` untuk menyiapkan paket Python yang diperlukan.

  3. Siapkan data: Jalankan `prepare_data.py` untuk menyiapkan dataset Anda untuk pelatihan.

  4. Latih model: Eksekusi `train.py` untuk memulai proses pelatihan model.

  5. Ambil sampel keluaran: Gunakan `sample.py` untuk menghasilkan teks dari model yang telah dilatih.

  6. Jalankan tes: Verifikasi kebenaran implementasi dengan `tests.py`.

  • Penelitian Arsitektur LLM
  • Implementasi Model yang Efisien
  • Pelatihan LLM Lokal
  • Praktik Pengembangan JAX
  • Kontribusi Sumber Terbuka
  • Sumber Pendidikan

Ulasan DeepSeek V3 JAX

Memuat...

Alat AI Populer Seperti DeepSeek V3 JAX

DeepSeek-V3

Repositori GitHub AI

DeepSeek-V3 adalah model bahasa Mixture-of-Experts dengan bobot terbuka dari DeepSeek, dengan total 671 miliar parameter dan 37 miliar yang diaktifkan per token. Dilatih…

Model AI & LLM
Lihat Alat

Repositori GitHub AI

Model bahasa Mixture-of-Experts dengan bobot terbuka dari DeepSeek, dengan total 671 miliar parameter dan 37 miliar yang diaktifkan per token. Dilatih…DeepSeek-V3 adalah model bahasa Mixture-of-Experts dengan bobot terbuka dari DeepSeek, dengan total 671 miliar parameter dan 37 miliar yang diaktifkan per token. Dilatih…

Model AI & LLM
Lihat Top 250 Repositori GitHub AI

DeepSeek-V3 adalah model bahasa Mixture-of-Experts dengan 671 miliar parameter, dirancang untuk inferensi yang efisien dan pelatihan yang hemat biaya. Model ini unggul dalam…

Model AI & LLM

Peringkat 39 di LLM

Lihat Alat

Model bahasa Mixture-of-Experts dengan 671 miliar parameter, dirancang untuk inferensi yang efisien dan pelatihan yang hemat biaya. Model ini unggul dalam…DeepSeek-V3 adalah model bahasa Mixture-of-Experts dengan 671 miliar parameter, dirancang untuk inferensi yang efisien dan pelatihan yang hemat biaya. Model ini unggul dalam…

UnggulanModel AI & LLM
Peringkat 39 di LLM

OpenLLaMA

Repositori GitHub AI

OpenLLaMA adalah reproduksi model LLaMA 7B dari Meta AI yang berlisensi permisif dan bersifat open-source. Dilatih pada dataset RedPajama, model ini menawarkan versi 3B, 7B, dan…

Model AI & LLM
Lihat Alat

Repositori GitHub AI

Reproduksi model LLaMA 7B dari Meta AI yang berlisensi permisif dan bersifat open-source. Dilatih pada dataset RedPajama, model ini menawarkan versi 3B, 7B, dan…OpenLLaMA adalah reproduksi model LLaMA 7B dari Meta AI yang berlisensi permisif dan bersifat open-source. Dilatih pada dataset RedPajama, model ini menawarkan versi 3B, 7B, dan…

Model AI & LLM
Lihat Top 250 Repositori GitHub AI

DeepSeek adalah perusahaan riset AI yang didedikasikan untuk mengembangkan kecerdasan buatan umum. Ini menawarkan LLM frontier sumber terbuka seperti DeepSeek-V4, DeepSeek-R1, dan…

Model AI & LLM

Peringkat 2 di LLM

Lihat Alat

Perusahaan riset AI yang didedikasikan untuk mengembangkan kecerdasan buatan umum. Ini menawarkan LLM frontier sumber terbuka seperti DeepSeek-V4, DeepSeek-R1, dan…DeepSeek adalah perusahaan riset AI yang didedikasikan untuk mengembangkan kecerdasan buatan umum. Ini menawarkan LLM frontier sumber terbuka seperti DeepSeek-V4, DeepSeek-R1, dan…

UnggulanModel AI & LLM
Peringkat 2 di LLM

DeepSeek-R1

Repositori GitHub AI

DeepSeek-R1 adalah proyek GitHub yang berfokus pada solusi berbasis AI. Ini menawarkan berbagai repositori yang meningkatkan kemampuan AI, termasuk plugin, kernel perhatian…

Model AI & LLM
Lihat Alat

Repositori GitHub AI

Proyek GitHub yang berfokus pada solusi berbasis AI. Ini menawarkan berbagai repositori yang meningkatkan kemampuan AI, termasuk plugin, kernel perhatian…DeepSeek-R1 adalah proyek GitHub yang berfokus pada solusi berbasis AI. Ini menawarkan berbagai repositori yang meningkatkan kemampuan AI, termasuk plugin, kernel perhatian…

Model AI & LLM
Lihat Top 250 Repositori GitHub AI

FNet

Repositori GitHub AI

FNet adalah arsitektur encoder efisien mirip Transformer yang menggantikan self-attention dengan Transformasi Fourier. Dikembangkan oleh Google Research, model ini menawarkan…

Model AI & LLM
Lihat Alat

Repositori GitHub AI

Arsitektur encoder efisien mirip Transformer yang menggantikan self-attention dengan Transformasi Fourier. Dikembangkan oleh Google Research, model ini menawarkan…FNet adalah arsitektur encoder efisien mirip Transformer yang menggantikan self-attention dengan Transformasi Fourier. Dikembangkan oleh Google Research, model ini menawarkan…

Model AI & LLM
Lihat Top 250 Repositori GitHub AI

DeepSeek Online

Aplikasi AI

Demo online gratis dari model open-source DeepSeek V3 (671B parameter) yang berjalan di browser Anda tanpa registrasi, ditambah tautan untuk menjalankan model secara lokal untuk…

Model AI & LLM
Lihat Alat

Aplikasi AI

Demo online gratis dari model open-source DeepSeek V3 (671B parameter) yang berjalan di browser Anda tanpa registrasi, ditambah tautan untuk menjalankan model secara lokal untuk…

Model AI & LLM
Lihat Top 250 Aplikasi AI

LlamaFactory

Repositori GitHub AI

LlamaFactory adalah repositori GitHub yang berfokus pada penyempurnaan terpadu dan efisien dari lebih dari 100 model bahasa besar (LLM) dan model bahasa-visual (VLM). Ini…

Platform Machine Learning

Peringkat 13 di Repositori GitHub AI

Lihat Alat

Repositori GitHub AI

Repositori GitHub yang berfokus pada penyempurnaan terpadu dan efisien dari lebih dari 100 model bahasa besar (LLM) dan model bahasa-visual (VLM). Ini…LlamaFactory adalah repositori GitHub yang berfokus pada penyempurnaan terpadu dan efisien dari lebih dari 100 model bahasa besar (LLM) dan model bahasa-visual (VLM). Ini…

UnggulanPlatform Machine Learning
Peringkat 13 di Repositori GitHub AI
1 dari 8