Deskripsi
ERNIE-5.5-Flash-Base-BF16 adalah model bahasa Mixture-of-Experts (MoE) yang canggih dan jarang yang dikembangkan oleh Baidu. Model ini memiliki total 280 miliar parameter, dengan 14 miliar parameter yang diaktifkan per token, menjadikannya sangat efisien untuk tugas bahasa yang kompleks. Model ini dilatih sebelumnya dari awal pada dataset yang luas dengan 33,5 triliun token, menggunakan konteks pelatihan hingga 128.000 token. Untuk fine-tuning dan inferensi, model ini mendukung panjang konteks yang mengesankan hingga 1 juta token, memungkinkan pemahaman mendalam dan generasi konten panjang.
Baca Selengkapnya
Dirancang dengan efisiensi sebagai prinsip inti, ERNIE 5.5 Flash meninjau setiap komponen, mulai dari mekanisme perhatian dan koneksi residual hingga lapisan MoE dan kepala output. Pendekatan holistik ini memastikan kinerja optimal sambil mengelola biaya komputasi, cache KV, dan konteks panjang. Data pelatihan menekankan kemampuan yang penting untuk aplikasi lanjutan, seperti pemahaman kode skala repositori dan pemahaman konteks panjang, memungkinkan pengembang untuk membangun di atas kemampuan umumnya untuk berbagai kasus penggunaan.
ERNIE-5.5-Flash-Base-BF16 mewakili titik pemeriksaan di akhir pelatihan awal, berfungsi sebagai model dasar sebelum tahap pelatihan menengah atau pasca pelatihan. Ini menjadikannya titik awal yang ideal bagi peneliti dan pengembang yang terlibat dalam adaptasi domain, tuning instruksi, dan pembelajaran penguatan. Model ini telah menunjukkan hasil yang kuat di seluruh jalur evaluasi terpadu, unggul dalam tolok ukur yang terkait dengan pengetahuan, penalaran, matematika, kode, tugas multibahasa, dan pemahaman konteks panjang.
Arsitektur ini menggabungkan MoE perhatian hibrida 280B-A14B dengan 43 lapisan, termasuk 1 FFN padat dan 42 lapisan MoE Latent Multi-Router. Ini memiliki 37 lapisan Heavily Compressed Attention (HCA) dan 6 lapisan Multi-head Latent Attention (MLA + DSA) dengan perhatian jarang. Model ini memanfaatkan 512 ahli yang diarahkan (top-10) ditambah 1 ahli bersama per lapisan MoE. Inovasi seperti Low-Rank Gated Attention, Virtual Head Attention (VHA), Multi-Router Latent MoE, ECHO, Manifold-constrained Hyper-Connections (mHC), dan MultiMax Output Head berkontribusi pada kemampuan dan efisiensinya yang canggih. Tokenizer mendukung sekitar 200.000 entri dan mengubah angka dari kanan ke kiri dalam kelompok hingga tiga digit.
Penerapan didukung dengan SGLang dan vLLM, memungkinkan penyajian produksi dengan panjang konteks hingga 1.048.576 token. Model ini tersedia di bawah Perjanjian Lisensi Model Dasar ERNIE 5.5 Flash v1.0.
- KategoriModel AI & LLM
- PenerapanCloud
- PlatformWeb
Sorotan ERNIE-5.5-Flash-Base-BF16
280 miliar total parameter
14 miliar parameter yang diaktifkan per token
Dilatih sebelumnya pada 33,5 triliun token
Konteks pelatihan hingga 128.000 token
Dukungan fine-tuning dan inferensi untuk konteks 1 juta token
Arsitektur Mixture-of-Experts (MoE) yang efisien dan jarang
MoE perhatian hibrida dengan 43 lapisan
37 lapisan Heavily Compressed Attention (HCA)
6 lapisan Multi-head Latent Attention (MLA + DSA)
512 ahli yang diarahkan (top-10) ditambah 1 ahli bersama per lapisan MoE
Low-Rank Gated Attention dan Virtual Head Attention (VHA)
Multi-Router Latent MoE untuk pemilihan ahli yang akurat
ECHO untuk kehilangan multi-horizon dan decoding spekulatif
Manifold-constrained Hyper-Connections (mHC) untuk propagasi sinyal
MultiMax Output Head untuk distribusi kosakata yang lebih tajam
Tokenizer BPE dengan sekitar 200.000 entri
Dukungan untuk SGLang dan vLLM untuk penyajian produksi
Memulai dengan ERNIE-5.5-Flash-Base-BF16
Akses Halaman Model: Arahkan ke halaman ERNIE-5.5-Flash-Base-BF16 di Hugging Face.
Jelajahi Berkas: Tinjau berkas model dan dokumentasi yang tersedia di halaman.
Unduh Model: Unduh titik pemeriksaan model ERNIE-5.5-Flash-Base-BF16.
Instal vLLM dan Plugin: Instal vLLM dan plugin ERNIE 5.5 untuk penerapan.
Luncurkan Server: Gunakan SGLang atau vLLM untuk meluncurkan server model.
Kirim Permintaan: Kirim permintaan ke endpoint penyelesaian menggunakan alat seperti curl untuk inferensi.
Kasus Penggunaan ERNIE-5.5-Flash-Base-BF16
- Generasi Teks
- Adaptasi Domain
- Tuning Instruksi
- Penelitian Pembelajaran Penguatan
- Pemahaman Kode
- Pemahaman Konteks Panjang
- Aplikasi Multibahasa
- Tugas Penalaran
- Aplikasi Agensif









