OPT-175B

Deskripsi

Meta AI mendemokratisasi akses ke model bahasa berskala besar dengan merilis OPT-175B, sebuah model 175 miliar parameter yang dilatih pada kumpulan data yang tersedia untuk umum. Inisiatif ini bertujuan untuk mendorong keterlibatan komunitas yang lebih luas dalam memahami teknologi AI baru yang fundamental, melampaui akses terbatas yang sebelumnya hanya tersedia bagi laboratorium dengan sumber daya yang sangat besar. Dengan menyediakan model pra-terlatih dan kode pelatihan yang diperlukan, OPT-175B memberdayakan peneliti akademis, masyarakat sipil, pembuat kebijakan, dan laboratorium riset industri di seluruh dunia untuk melakukan penelitian yang dapat direproduksi dan secara kolektif memajukan bidang ini.

Rilis ini didukung oleh komitmen terhadap sains terbuka dan pengembangan AI yang bertanggung jawab. Meta AI membagikan dokumentasi terperinci tentang proses pengembangan, termasuk logbook lengkap tentang pelatihan harian, penggunaan komputasi, dan overhead manusia. Transparansi ini memungkinkan peneliti lain untuk membangun karya mereka dan menganalisis potensi bahaya menggunakan metrik yang dapat diukur pada model bersama. OPT-175B dilatih menggunakan API Fully Sharded Data Parallel (FSDP) open-source Meta dan abstraksi paralel tensor NVIDIA dalam Megatron-LM, mencapai efisiensi energi yang signifikan dengan jejak karbon 1/7 dari GPT-3.

Selain OPT-175B, Meta AI merilis serangkaian model dasar berskala lebih kecil, yang dilatih pada data yang sama dan menggunakan pengaturan serupa, untuk memfasilitasi studi efek skala. Ini termasuk model dengan jumlah parameter mulai dari 125 juta hingga 30 miliar. Rilis ini diatur oleh lisensi nonkomersial, memprioritaskan kasus penggunaan riset dan bertujuan untuk mencegah penyalahgunaan. Dengan meningkatkan keragaman suara yang terlibat dalam mendefinisikan pertimbangan etis, Meta AI berharap dapat mendorong kemajuan dalam pengembangan AI yang bertanggung jawab dan menetapkan pedoman yang jelas untuk model bahasa besar.

Kolaborasi terbuka ini sangat penting untuk kemajuan riset AI, memungkinkan komunitas ilmiah untuk mengeksplorasi potensi model mutakhir sambil secara bersamaan menyelidiki kerentanan. Rilis OPT-175B dan sumber daya terkaitnya bertujuan untuk membawa lebih banyak perspektif ke garis depan penciptaan model bahasa besar, membantu dalam merancang strategi rilis yang bertanggung jawab, dan memperkenalkan tingkat transparansi yang belum pernah terjadi sebelumnya ke bidang ini.

Sorotan OPT-175B

• 175 miliar parameter

• Dilatih pada kumpulan data yang tersedia untuk umum

• Termasuk model pra-terlatih dan kode pelatihan

• Lisensi nonkomersial untuk penggunaan riset

• Akses diberikan kepada peneliti akademis dan organisasi terafiliasi

• Dokumentasi terperinci tentang proses pengembangan

• Logbook lengkap proses pelatihan

• Metrik terukur untuk analisis bahaya

• Metodologi pelatihan yang hemat energi

• Serangkaian model dasar berskala lebih kecil dirilis

• Memfasilitasi penelitian yang dapat direproduksi

• Mempromosikan pengembangan AI yang bertanggung jawab

• Meningkatkan transparansi dalam pengembangan LLM

Memulai dengan OPT-175B

1. 1

   Ajukan akses: Kirimkan permintaan akses ke OPT-175B.

2. 2

   Unduh kode: Akses kode open-source untuk pelatihan dan penerapan.

3. 3

   Dapatkan model: Unduh model dasar berskala lebih kecil.

4. 4

   Siapkan lingkungan: Siapkan lingkungan riset Anda dengan pustaka yang diperlukan.

5. 5

   Integrasikan model: Muat dan gunakan model OPT-175B untuk tugas riset.

6. 6

   Analisis hasil: Lakukan eksperimen dan analisis perilaku serta keluaran model.

7. 7

   Berkontribusi pada riset: Bagikan temuan dan berkontribusi pada komunitas AI yang lebih luas.

Kasus Penggunaan OPT-175B

• Riset NLP
• Mitigasi Bias
• Interpretasi Model
• AI yang Bertanggung Jawab
• Sains yang Dapat Direproduksi
• Generasi Teks
• Etika AI

FAQ dari OPT-175B

• Apa itu OPT-175B?

  OPT-175B adalah model bahasa besar dengan 175 miliar parameter, yang dikembangkan oleh Meta AI dan disediakan untuk komunitas riset guna mendorong sains terbuka dan pemahaman AI berskala besar.

• Siapa yang dapat mengakses OPT-175B?

  Akses diberikan kepada peneliti akademis, mereka yang terafiliasi dengan organisasi di pemerintahan, masyarakat sipil, dan akademisi, serta laboratorium riset industri di seluruh dunia.

• Apa lisensi untuk OPT-175B?

  OPT-175B dirilis di bawah lisensi nonkomersial, berfokus pada kasus penggunaan riset untuk menjaga integritas dan mencegah penyalahgunaan.

• Apa saja yang termasuk dalam rilis OPT-175B?

  Rilis ini mencakup model OPT-175B pra-terlatih dan kode yang diperlukan untuk melatih dan menggunakannya, bersama dengan dokumentasi terperinci tentang proses pengembangan.

• Apakah ada model yang lebih kecil yang tersedia?

  Ya, Meta AI juga merilis serangkaian model dasar berskala lebih kecil, dengan jumlah parameter mulai dari 125 juta hingga 30 miliar, yang dilatih pada data yang sama.

• Bagaimana perbandingan efisiensi energi OPT-175B?

  OPT-175B dilatih dengan mempertimbangkan efisiensi energi, menggunakan 1/7 jejak karbon GPT-3, yang dicapai melalui teknik paralelisasi canggih.

• Apa tujuan dari merilis OPT-175B?

  Tujuannya adalah untuk mendemokratisasi akses ke model bahasa berskala besar, memungkinkan penelitian yang dapat direproduksi, meningkatkan keterlibatan komunitas, dan mendorong kemajuan dalam pengembangan AI yang bertanggung jawab.

• Di mana saya dapat menemukan kode dan dokumentasi?

  Kode open-source, log pelatihan, dan lisensi model dapat ditemukan di repositori GitHub Meta AI, dengan tautan yang disediakan dalam pengumuman asli.

• Jenis penelitian apa yang dapat dilakukan dengan OPT-175B?

  Peneliti dapat mempelajari kemampuan, keterbatasan, dan potensi bahaya dari model bahasa besar, berkontribusi pada upaya untuk meningkatkan ketahanan dan memitigasi masalah seperti bias dan toksisitas.

• Apakah OPT-175B tersedia melalui API?

  Rilis ini berfokus pada penyediaan akses ke model dan kode bagi peneliti untuk melatih dan menggunakannya, bukan melalui API berbayar.