Deskripsi
DeepSeek-V3 adalah model bahasa besar yang dirilis oleh DeepSeek AI sebagai arsitektur Mixture-of-Experts (MoE): total 671 miliar parameter, dengan hanya 37 miliar yang diaktifkan untuk setiap token, yang menjaga biaya inferensi lebih murah dibandingkan menjalankan jumlah parameter penuh pada setiap permintaan. Ini dibangun di atas arsitektur yang diperkenalkan di DeepSeek-V2, melanjutkan Multi-head Latent Attention dan desain DeepSeekMoE, dan menambahkan strategi tanpa kehilangan tambahan untuk menyeimbangkan beban di antara para ahli, yang menurut tim mengurangi biaya kinerja yang biasanya datang dengan penyeimbangan beban.
Baca Selengkapnya
Pelatihan menggunakan 14,8 triliun token data pelatihan awal, diikuti oleh tahap fine-tuning terawasi dan pembelajaran penguatan. DeepSeek melaporkan bahwa biaya pelatihan penuh sekitar 2,664 juta jam GPU H800, dengan tahap pelatihan selanjutnya menambahkan hanya sekitar 0,1 juta lebih, untuk total sekitar 2,788 juta jam GPU, dan menggambarkan proses pelatihan sebagai stabil, tanpa lonjakan kehilangan yang tidak dapat dipulihkan atau rollback. Sebagian dari efisiensi itu berasal dari kerangka pelatihan campuran presisi FP8 yang divalidasi tim pada skala ini, bersama dengan pekerjaan rekayasa untuk mengurangi overhead komunikasi di antara node GPU selama pelatihan Mixture-of-Experts. Langkah pasca-pelatihan terpisah menyaring perilaku penalaran dari DeepSeek-R1, model rantai-panjang-pemikiran dalam jajaran DeepSeek, ke dalam DeepSeek-V3, bertujuan untuk meningkatkan penalarannya sambil menjaga gaya outputnya tetap terkontrol.
DeepSeek-V3 mendukung panjang konteks 128K dan, pada tolok ukur yang diterbitkan DeepSeek, berkinerja sebanding dengan model tertutup terkemuka sambil mengungguli model sumber terbuka lainnya yang dibandingkan. Model dan checkpoint dasarnya, DeepSeek-V3-Base, keduanya dapat diunduh dari Hugging Face.
Bagi siapa saja yang tidak ingin melakukan hosting mandiri, DeepSeek menjalankan situs web obrolan di mana model dapat digunakan secara langsung. Untuk hosting mandiri, DeepSeek-V3 didukung oleh beberapa mesin inferensi sumber terbuka, termasuk SGLang, vLLM, LMDeploy, dan TensorRT-LLM, dengan SGLang juga memungkinkan penyebaran di GPU AMD. Menjalankan skrip inferensi demo secara lokal memerlukan sistem Linux dengan Python 3.10 (Mac dan Windows tidak didukung untuk jalur itu) dan, untuk model penuh, cukup memori GPU gabungan di beberapa mesin untuk menampung 671 miliar parameter. Kode dirilis di bawah lisensi MIT, sementara bobot model membawa perjanjian lisensi model terpisah. Ini adalah model untuk pengembang dan peneliti dengan infrastruktur untuk melayani model besar dengan bobot terbuka, bukan aplikasi konsumen yang siap pakai.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanDi-host sendiri
- PlatformLinux
Fitur Inti DeepSeek-V3
Model Mixture-of-Experts dengan 671B parameter dan 37B parameter diaktifkan per token
Multi-head Latent Attention dan arsitektur DeepSeekMoE yang dibawa dan disempurnakan dari DeepSeek-V2
Strategi penyeimbangan beban tanpa kehilangan tambahan di antara para ahli
Tujuan pelatihan prediksi multi-token, juga dapat digunakan untuk decoding spekulatif saat inferensi
Kerangka pelatihan campuran presisi FP8 yang divalidasi pada skala besar
Panjang konteks 128K
Distilasi perilaku penalaran pasca-pelatihan dari DeepSeek-R1 ke dalam model dasar
Didukung oleh mesin inferensi sumber terbuka utama: SGLang, vLLM, LMDeploy, dan TensorRT-LLM, ditambah GPU AMD melalui SGLang
Memulai dengan DeepSeek-V3
Coba secara online: Obrolan dengan DeepSeek-V3 di situs web obrolan DeepSeek tanpa menginstal apa pun
Unduh bobot: Dapatkan DeepSeek-V3 atau DeepSeek-V3-Base dari Hugging Face
Pilih mesin inferensi: Pilih SGLang, vLLM, LMDeploy, atau TensorRT-LLM berdasarkan perangkat keras Anda
Konversi bobot jika diperlukan: Jalankan skrip konversi yang disediakan untuk jalur inferensi demo
Jalankan model: Luncurkan inferensi di beberapa GPU dan, untuk model penuh, di beberapa node
Kasus Penggunaan DeepSeek-V3
- Penyebaran LLM yang dihosting sendiri
- Penelitian arsitektur MoE
- Pelayanan inferensi throughput tinggi
