DBRX LLM

Deskripsi

Databricks memperkenalkan DBRX, model bahasa besar (LLM) terbuka mutakhir yang baru, yang dirancang untuk mendefinisikan ulang efisiensi dan kualitas dalam AI. DBRX menetapkan tolok ukur baru untuk LLM terbuka, menawarkan kemampuan yang sebelumnya eksklusif untuk API model tertutup. Model ini melampaui GPT-3.5 dan kompetitif dengan Gemini 1.0 Pro, menunjukkan kekuatan khusus dalam pembuatan kode, mengungguli model khusus seperti CodeLLaMA-70B.

DBRX mencapai kinerja canggihnya melalui arsitektur mixture-of-experts (MoE) yang terperinci, memungkinkan inferensi hingga 2x lebih cepat daripada LLaMA2-70B dan jumlah parameter aktif yang jauh lebih kecil dibandingkan dengan model seperti Grok-1. Saat di-host di Databricks Model Serving, DBRX dapat mencapai hingga 150 token per detik per pengguna. Pelatihan model MoE dengan pendekatan DBRX juga sekitar 2x lebih efisien FLOP daripada melatih model padat untuk kualitas yang setara.

Model ini dilatih sebelumnya pada 12 triliun token data teks dan kode, memanfaatkan kumpulan data yang dikurasi dengan cermat yang dikembangkan dengan alat Databricks seperti Apache Spark dan Unity Catalog. DBRX menggunakan rotary position encodings (RoPE), gated linear units (GLU), dan grouped query attention (GQA), dengan panjang konteks maksimum 32.000 token. Baik model dasar (DBRX Base) maupun model yang disesuaikan instruksi (DBRX Instruct) tersedia di Hugging Face di bawah lisensi terbuka.

DBRX Instruct memimpin dalam berbagai tolok ukur, termasuk Hugging Face Open LLM Leaderboard dan Databricks Model Gauntlet. Model ini menunjukkan kinerja luar biasa dalam pemrograman dan matematika, mengungguli model seperti Grok-1 dan CodeLLaMA-70B pada HumanEval dan GSM8k. DBRX Instruct juga menunjukkan kinerja yang kuat pada tugas konteks panjang dan retrieval augmented generation (RAG), mengungguli GPT-3.5 Turbo dalam banyak skenario.

Databricks menawarkan DBRX melalui API Model Fondasinya dengan harga bayar sesuai pemakaian dan opsi throughput yang disediakan untuk aplikasi produksi. Pelanggan juga dapat meng-host DBRX secara pribadi dengan mengunduhnya dari Databricks Marketplace dan menerapkannya di Model Serving. Rilis ini memberdayakan perusahaan untuk mengontrol data dan nasib mereka dalam lanskap GenAI, menyediakan akses ke alat LLM yang kuat dan efisien.

Sorotan DBRX LLM

• LLM terbuka mutakhir

• Arsitektur mixture-of-experts (MoE)

• Total 132 miliar parameter, 36 miliar parameter aktif

• Dilatih pada 12 triliun token teks dan kode

• Jendela konteks 32K token

• Melampaui GPT-3.5 pada tolok ukur

• Kompetitif dengan Gemini 1.0 Pro

• Kinerja kuat dalam pemrograman dan matematika

• Inferensi hingga 2x lebih cepat daripada LLaMA2-70B

• Tersedia di Hugging Face

• Dapat diakses melalui API Model Fondasi Databricks

• Mendukung retrieval augmented generation (RAG)

Memulai dengan DBRX LLM

1. 1

   Akses Model: Gunakan API Model Fondasi Databricks atau unduh dari Hugging Face.

2. 2

   Autentikasi: Siapkan kunci API atau kredensial akses yang diperlukan.

3. 3

   Siapkan Lingkungan: Konfigurasikan lingkungan pengembangan Anda dengan pustaka yang diperlukan.

4. 4

   Integrasikan melalui API: Terapkan panggilan API untuk DBRX dalam aplikasi Anda.

5. 5

   Optimalkan: Lakukan fine-tuning parameter model atau manfaatkan Databricks Model Serving untuk kinerja.

Kasus Penggunaan DBRX LLM

• Pembuatan Kode
• Pembuatan Konten
• Analisis Data
• Tanya Jawab
• Ringkasan
• Chatbot
• Bantuan Penelitian

FAQ dari DBRX LLM

• Apa itu DBRX?

  DBRX adalah model bahasa besar (LLM) umum yang terbuka yang dikembangkan oleh Databricks, menetapkan keadaan seni baru untuk LLM terbuka dalam berbagai tolok ukur.

• Bagaimana perbandingan DBRX dengan LLM lainnya?

  DBRX melampaui GPT-3.5 dan kompetitif dengan Gemini 1.0 Pro. Model ini juga unggul dalam tugas pemrograman, mengungguli model khusus seperti CodeLLaMA-70B.

• Apa yang membuat DBRX efisien?

  DBRX menggunakan arsitektur mixture-of-experts (MoE) yang terperinci, yang meningkatkan kinerja pelatihan dan inferensi, membuatnya hingga 2x lebih cepat daripada LLaMA2-70B.

• Data jenis apa yang digunakan untuk melatih DBRX?

  DBRX dilatih sebelumnya pada 12 triliun token data teks dan kode yang dikurasi dengan cermat.

• Berapa ukuran jendela konteks DBRX?

  DBRX memiliki panjang konteks maksimum 32.000 token.

• Apakah DBRX tersedia untuk penggunaan komersial?

  Ya, DBRX tersedia untuk pelanggan Databricks melalui API dan dapat di-host secara pribadi. Model dasar dan instruksi juga tersedia di Hugging Face di bawah lisensi terbuka.

• Apa kekuatan utama DBRX?

  Kekuatan utama DBRX meliputi kinerja mutakhirnya pada tolok ukur pemahaman bahasa, pemrograman, dan matematika, bersama dengan efisiensinya dalam pelatihan dan inferensi.

• Bisakah DBRX digunakan untuk pembuatan kode?

  Ya, DBRX adalah model kode yang sangat mampu, mengungguli model khusus seperti CodeLLaMA-70B pada tugas pemrograman.

• Di mana saya bisa mengakses DBRX?

  DBRX tersedia melalui API Model Fondasi Databricks, dan model dasar serta instruksinya dapat diunduh dari Hugging Face.

• Berapa jumlah parameter DBRX?

  DBRX memiliki total 132 miliar parameter, dengan 36 miliar parameter aktif per input.