Deskripsi
Proyek StableLM, yang di-host di GitHub oleh Stability AI, mewakili upaya signifikan dalam pengembangan model bahasa besar (LLM) sumber terbuka. Repositori ini berfungsi sebagai pusat utama untuk penelitian dan pengembangan berkelanjutan dari seri StableLM, yang terus diperbarui dengan checkpoint model dan kemajuan baru.
Baca Selengkapnya
Pada intinya, StableLM bertujuan untuk menyediakan model bahasa yang kuat dan dapat diakses untuk komunitas AI. Proyek ini telah merilis beberapa model terkemuka, termasuk StableLM-3B-4E1T, model 3 miliar parameter yang dilatih sebelumnya di bawah rezim multi-epoch untuk menyelidiki dampak token berulang pada kinerja. Model ini dilatih pada 1 triliun token selama 4 epoch, mengambil inspirasi dari penelitian tentang penskalaan model bahasa yang dibatasi data. Arsitekturnya adalah transformer hanya dekoder, mirip dengan LLaMA, dengan modifikasi spesifik seperti Rotary Position Embeddings dan LayerNorm.
Iterasi lebih lanjut mencakup model StableLM-Alpha v2, yang tersedia dalam ukuran parameter 3B dan 7B. Model-model ini menggabungkan peningkatan arsitektur seperti SwiGLU dan memanfaatkan sumber data berkualitas lebih tinggi, secara signifikan meningkatkan kinerja hilir. Data pelatihan untuk model-model ini mencakup campuran terfilter dari dataset sumber terbuka seperti Falcon RefinedWeb, RedPajama-Data, The Pile, dan StarCoder, dengan penekanan kuat pada teks web. Panjang konteks untuk model-model ini adalah 4096 token.
Stability AI juga telah mengembangkan StableVicuna, fine-tune RLHF dari Vicuna-13B, yang bertujuan untuk menciptakan Chatbot LLM RLHF sumber terbuka. Karena lisensi non-komersial LLaMA, bobot StableVicuna dirilis sebagai delta di atas model asli.
Repositori menyediakan sumber daya bagi pengembang untuk memulai, termasuk panduan memulai cepat dan contoh cuplikan kode untuk menjalankan inferensi dengan model seperti StableLM-Tuned-Alpha-7B di Hugging Face. Proyek ini mendorong keterlibatan komunitas, mencari kontribusi untuk mem-porting llama.cpp dan berintegrasi dengan Open Assistant untuk pengumpulan data umpan balik. Pengguna disarankan bahwa, seperti halnya LLM yang telah dilatih sebelumnya, respons dapat bervariasi dalam kualitas dan berpotensi menyertakan konten yang menyinggung, yang diharapkan akan meningkat dengan pengembangan lebih lanjut dan umpan balik komunitas.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Fitur Inti StableLM
Repositori pengembangan model bahasa sumber terbuka
Menampung seri model bahasa StableLM
Terus diperbarui dengan checkpoint baru
Termasuk model seperti StableLM-3B-4E1T
Menampilkan model StableLM-Alpha v2 (3B dan 7B)
Menyediakan StableVicuna, fine-tune RLHF
Menawarkan laporan teknis dan gambaran umum model
Termasuk contoh kode untuk inferensi
Mendorong kontribusi dan umpan balik komunitas
Model tersedia di bawah lisensi CC BY-SA-4.0 dan CC BY-NC-SA-4.0
Kode dilisensikan di bawah Apache License 2.0
Memulai dengan StableLM
Kloning: Kloning repositori ke mesin lokal Anda.
Instal dependensi: Instal pustaka dan kerangka kerja yang diperlukan.
Unduh model: Dapatkan checkpoint model StableLM yang diinginkan dari Hugging Face.
Konfigurasi: Siapkan lingkungan dan parameter untuk inferensi atau fine-tuning.
Eksekusi: Jalankan skrip yang disediakan untuk inferensi atau penggunaan model kustom.
Integrasi: Gabungkan model ke dalam aplikasi atau proyek penelitian Anda.
Kasus Penggunaan StableLM
- Penelitian Model Bahasa
- Pengembangan Chatbot AI
- Generasi Teks
- Pemahaman Bahasa Alami
- Fine-tuning untuk Tugas Spesifik
- Pengembangan AI Sumber Terbuka
