Deskripsi
OpenLLaMA mewakili kemajuan signifikan dalam model bahasa besar open-source, menawarkan reproduksi berlisensi permisif dari LLaMA milik Meta AI. Dikembangkan oleh openlm-research, proyek ini bertujuan untuk mendemokratisasi akses ke model bahasa yang kuat dengan menyediakan bobot dan metodologi pelatihan yang dapat diakses.
Baca Selengkapnya
Proyek ini merilis serangkaian model, termasuk versi 3B, 7B, dan 13B parameter, yang semuanya dilatih pada satu triliun token. Model-model ini dirancang untuk menjadi pengganti langsung untuk model LLaMA asli dalam implementasi yang sudah ada. Proyek ini menyediakan bobot dalam format PyTorch, yang kompatibel dengan pustaka Hugging Face transformers, dan format JAX untuk digunakan dengan kerangka kerja EasyLM.
Metodologi pelatihan OpenLLaMA mengikuti makalah LLaMA asli dengan cermat, memanfaatkan arsitektur model yang sama, panjang konteks, langkah pelatihan, jadwal tingkat pembelajaran, dan optimizer. Perbedaan utamanya terletak pada dataset yang digunakan: model v1 dilatih pada dataset RedPajama, sementara model v2 menggabungkan campuran dataset Falcon refined-web, dataset StarCoder, dan bagian dari dataset RedPajama (Wikipedia, ArXiv, Books, StackExchange). Komitmen terhadap dataset terbuka ini memastikan transparansi dan reproduktibilitas.
Proyek ini menekankan evaluasi dan perbandingan, menyajikan hasil terhadap LLaMA dan GPT-J di berbagai tugas menggunakan lm-evaluation-harness. Model OpenLLaMA menunjukkan kinerja yang sebanding, dan dalam beberapa kasus lebih unggul, dibandingkan dengan rekan-rekannya. Tim pengembang juga telah mengatasi potensi masalah, seperti konfigurasi tokenizer yang memengaruhi tugas pembuatan kode, merekomendasikan model v2 untuk aplikasi semacam itu.
OpenLLaMA dilisensikan di bawah lisensi Apache 2.0, yang mendorong adopsi dan modifikasi yang luas. Proyek ini adalah upaya kolaboratif, dengan kontribusi dari Berkeley AI Research dan dukungan dari program Google TPU Research Cloud. Inisiatif ini memberdayakan peneliti dan pengembang untuk membangun dan berinovasi dengan model bahasa mutakhir.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Fitur Inti OpenLLaMA
Reproduksi open-source berlisensi permisif dari LLaMA Meta AI
Tersedia dalam ukuran parameter 3B, 7B, dan 13B
Dilatih pada 1T token
Bobot tersedia dalam format PyTorch dan JAX
Kompatibel dengan Hugging Face transformers dan kerangka kerja EasyLM
Mengikuti arsitektur LLaMA asli dan hyperparameter pelatihan
Memanfaatkan dataset terbuka seperti RedPajama, Falcon refined-web, dan StarCoder
Kinerja sebanding dengan LLaMA dan GPT-J asli
Lisensi Apache 2.0 untuk penggunaan luas
Termasuk hasil evaluasi dan perbandingan
Tokenizer dirancang untuk menggabungkan beberapa spasi kosong, mirip dengan T5
Memulai dengan OpenLLaMA
Akses Bobot Model: Unduh bobot PyTorch atau JAX dari Hugging Face Hub atau repositori EasyLM.
Siapkan Lingkungan: Instal pustaka yang diperlukan seperti transformers, PyTorch, atau JAX.
Muat Tokenizer: Gunakan LlamaTokenizer atau AutoTokenizer dengan `use_fast=False` untuk menghindari potensi masalah tokenisasi.
Muat Model: Buat instance LlamaForCausalLM dari Hugging Face transformers atau yang setara di EasyLM.
Integrasikan melalui API: Manfaatkan model yang dimuat untuk tugas pembuatan teks, inferensi, atau fine-tuning.
Evaluasi Kinerja: Gunakan lm-evaluation-harness untuk benchmarking, pastikan penggunaan tokenizer yang benar.
Kasus Penggunaan OpenLLaMA
- Pembuatan Teks
- Pemahaman Bahasa
- Reproduksi Model
- Penelitian dan Pengembangan
- Pengembangan Chatbot
- Pembuatan Kode
