Deskripsi
OpenELM mewakili kemajuan signifikan dalam pemodelan bahasa terbuka, yang dikembangkan oleh Apple Machine Learning Research. Inisiatif ini bertujuan untuk mendorong reproduktibilitas dan transparansi di bidang model bahasa besar (LLM), yang sangat penting untuk memajukan penelitian terbuka, memastikan kepercayaan, dan menyelidiki potensi bias dan risiko.
Baca Selengkapnya
Inti dari OpenELM adalah penerapan strategi penskalaan per lapis yang inovatif. Pendekatan ini secara efisien mengalokasikan parameter di dalam setiap lapisan arsitektur transformer, yang menghasilkan peningkatan akurasi yang terbukti. Misalnya, dengan anggaran parameter sekitar satu miliar, OpenELM mencapai peningkatan akurasi sebesar 2,36% dibandingkan OLMo, sambil membutuhkan separuh jumlah token pra-pelatihan. Efisiensi ini adalah pembeda utama, membuat model bahasa canggih lebih mudah diakses dan berkelanjutan untuk dilatih.
Selain hanya merilis bobot model dan kode inferensi, proyek OpenELM menyediakan ekosistem yang komprehensif untuk para peneliti. Ini termasuk kerangka kerja lengkap untuk pelatihan dan evaluasi menggunakan kumpulan data yang tersedia untuk umum. Pengguna mendapatkan akses ke log pelatihan, beberapa checkpoint model, dan konfigurasi pra-pelatihan yang terperinci. Tingkat transparansi dan aksesibilitas ini dirancang untuk memberdayakan komunitas riset terbuka dan mempercepat inovasi di masa depan.
Selanjutnya, Apple telah merilis kode untuk memfasilitasi konversi model OpenELM ke pustaka MLX. Integrasi ini memungkinkan inferensi dan penyetelan halus yang efisien langsung pada perangkat Apple, memperluas aksesibilitas dan aplikasi praktis dari model-model canggih ini. Rilis komprehensif ini menggarisbawahi komitmen Apple untuk mendukung dan memperkuat komunitas riset terbuka global.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformmacOS
Sorotan Model Bahasa OpenELM
Keluarga model bahasa terbuka mutakhir
Strategi penskalaan per lapis untuk alokasi parameter yang efisien
Akurasi yang ditingkatkan dibandingkan model yang ada (misalnya, OLMo)
Persyaratan token pra-pelatihan yang berkurang
Kerangka kerja lengkap untuk pelatihan dan evaluasi
Termasuk log pelatihan dan beberapa checkpoint
Konfigurasi pra-pelatihan disediakan
Kode untuk integrasi pustaka MLX pada perangkat Apple
Mendukung inferensi dan penyetelan halus pada perangkat keras Apple
Fokus pada reproduktibilitas dan transparansi dalam riset LLM
Memanfaatkan kumpulan data yang tersedia untuk umum untuk pelatihan
Kerangka kerja pelatihan dan inferensi terbuka
Memulai dengan Model Bahasa OpenELM
Akses model: Unduh bobot model dan kerangka kerja OpenELM dari sumber yang disediakan.
Siapkan lingkungan: Konfigurasikan lingkungan pengembangan Anda dengan pustaka dan dependensi yang diperlukan.
Integrasikan melalui MLX: Gunakan kode yang disediakan untuk mengonversi model untuk inferensi dan penyetelan halus pada perangkat Apple.
Latih dan evaluasi: Gunakan kerangka kerja lengkap dan kumpulan data publik untuk pelatihan kustom dan evaluasi kinerja.
Penyetelan halus model: Sesuaikan model OpenELM untuk tugas hilir tertentu menggunakan alat dan konfigurasi yang disediakan.
Kasus Penggunaan Model Bahasa OpenELM
- Riset LLM
- Pelatihan Model
- Inferensi Efisien
- Investigasi Bias
- AI Sumber Terbuka
- Alokasi Parameter
