bigscience/bloom

Deskripsi

BLOOM, yang dikembangkan oleh BigScience, adalah model bahasa besar autoregresif (LLM) yang dirancang untuk memajukan dan mendemokratisasi kecerdasan buatan melalui sumber terbuka dan ilmu terbuka. Dirilis pada 11 Juli 2022, model ini mampu menghasilkan teks yang koheren dalam 46 bahasa alami dan 13 bahasa pemrograman, menjadikannya alat yang serbaguna untuk berbagai aplikasi dalam pemrosesan bahasa alami.

Arsitektur BLOOM didasarkan pada model transformer, dimodifikasi dari Megatron-LM GPT2. Model ini memiliki 176 miliar parameter, dengan 70 lapisan dan 112 kepala perhatian, memungkinkan untuk memproses dan menghasilkan teks secara efektif. Model ini dilatih pada dataset substansial sebesar 1,6TB teks yang telah diproses sebelumnya, yang mencakup 350 miliar token unik. Pelatihan yang luas ini memungkinkan BLOOM untuk melakukan tugas generasi teks, termasuk ekstraksi informasi, menjawab pertanyaan, dan merangkum, bahkan untuk tugas yang belum dilatih secara eksplisit.

BLOOM ditujukan untuk penelitian publik tentang model bahasa besar, sehingga dapat diakses oleh peneliti, pendidik, dan pengembang. Model ini dapat dengan mudah diintegrasikan ke dalam aplikasi menggunakan ekosistem Hugging Face, yang memerlukan instalasi transformers dan accelerate. Pengguna yang ditargetkan dari model ini termasuk masyarakat umum, peneliti, pelajar, dan insinyur, di antara lainnya. Namun, penting untuk dicatat bahwa model ini tidak boleh digunakan dalam pengaturan berisiko tinggi atau untuk pengambilan keputusan kritis, karena dapat menghasilkan keluaran yang tampak faktual tetapi bisa saja salah.

Pelatihan BLOOM dilakukan di Superkomputer Publik Jean Zay, menggunakan 384 GPU A100 80GB, dan didanai oleh pemerintah Prancis. Dampak lingkungan dari proses pelatihan diminimalkan melalui penggunaan energi nuklir, dengan panas yang dihasilkan digunakan kembali untuk perumahan kampus. Secara keseluruhan, BLOOM merupakan langkah signifikan ke depan di bidang AI, menyediakan alat yang kuat untuk generasi bahasa dan penelitian.

Sorotan bigscience/bloom

• Tipe Model: Model Bahasa Berbasis Transformer

• Parameter: 176B

• Bahasa yang Didukung: 46 bahasa alami, 13 bahasa pemrograman

• Lisensi: RAIL License v1.0

• Tanggal Rilis: 11 Juli 2022

• Ukuran Data Pelatihan: 1.6TB

• Token Pelatihan: 350B token unik

• Infrastruktur Komputasi: Superkomputer Publik Jean Zay

Memulai dengan bigscience/bloom

1. 1

   Akses halaman: Kunjungi situs web Hugging Face untuk BLOOM.

2. 2

   Muat model: Unduh model BLOOM menggunakan pustaka transformers dari Hugging Face.

3. 3

   Konfigurasi lingkungan: Pastikan transformers dan accelerate terinstal di lingkungan Anda.

4. 4

   Integrasi: Gunakan model untuk tugas generasi teks sesuai kebutuhan.

5. 5

   Fine-tune: Opsional untuk fine-tune model untuk aplikasi tertentu.

Kasus Penggunaan bigscience/bloom

• Generasi Teks
• Ekstraksi Informasi
• Menjawab Pertanyaan
• Merangkum
• Penelitian Bahasa

FAQ dari bigscience/bloom

• Apa itu BLOOM?

  BLOOM adalah model bahasa besar autoregresif multibahasa yang dikembangkan oleh BigScience.

• Berapa banyak bahasa yang didukung oleh BLOOM?

  BLOOM mendukung 46 bahasa alami dan 13 bahasa pemrograman.

• Apa ukuran data pelatihan untuk BLOOM?

  BLOOM dilatih pada 1.6TB teks yang telah diproses sebelumnya.

• Kapan tanggal rilis BLOOM?

  BLOOM dirilis pada 11 Juli 2022.

• Apa jenis lisensi yang dimiliki BLOOM?

  BLOOM dilisensikan di bawah RAIL License v1.0.

• Siapa yang mengembangkan BLOOM?

  BLOOM dikembangkan oleh BigScience.

• Apa tujuan dari BLOOM?

  BLOOM ditujukan untuk penelitian publik tentang model bahasa besar.

• Dapatkah BLOOM digunakan untuk pengambilan keputusan kritis?

  Tidak, BLOOM tidak boleh digunakan dalam pengaturan berisiko tinggi atau untuk keputusan kritis.