Langsung ke konten utama
ToolPotion
Penasihat AI
Kirim (Gratis)

google/bigbird-roberta-base

Belum ada penilaian
Model AIModel AI & LLMOpen source · Web

Model dasar BigBird adalah transformer yang memperluas BERT untuk menangani urutan yang jauh lebih panjang menggunakan perhatian blok sparse. Model ini telah dilatih sebelumnya pada teks bahasa Inggris untuk masked language modeling dan dapat memproses urutan hingga 4096 token secara efisien, mencapai hasil state-of-the-art pada tugas dokumen panjang.

Lihat Model
Bagikan
Lihat Model
Bagikan

Deskripsi

Model google/bigbird-roberta-base adalah arsitektur transformer canggih yang dirancang untuk mengatasi keterbatasan panjang urutan model BERT tradisional. Model ini mencapainya melalui mekanisme perhatian blok sparse yang baru, yang memungkinkannya memproses urutan yang jauh lebih panjang, hingga 4096 token, dengan biaya komputasi yang jauh lebih rendah dibandingkan dengan mekanisme perhatian standar.

Baca Selengkapnya

Model ini telah dilatih sebelumnya pada korpus bahasa Inggris yang beragam, termasuk Books, CC-News, Stories, dan Wikipedia, menggunakan tujuan masked language modeling (MLM). Model ini memanfaatkan kosakata sentencepiece yang sama dengan RoBERTa, yang awalnya dipinjam dari GPT2. Prosedur pelatihan melibatkan pemisahan dokumen yang lebih panjang dari 4096 token dan penggabungan dokumen yang lebih kecil, dengan 15% token ditutupi untuk prediksi, dan model dihangatkan dari checkpoint RoBERTa.

Perhatian sparse BigBird secara teoritis dipahami untuk menangani kemampuan transformer lengkap sambil lebih efisien. Hal ini membuatnya sangat efektif untuk tugas-tugas yang melibatkan konteks yang sangat panjang, seperti peringkasan dokumen panjang dan tanya jawab dengan input teks yang ekstensif. Tim Hugging Face telah menyediakan kartu model untuk model ini, karena tim perilis asli tidak melakukannya.

Pengguna dapat mengintegrasikan model ini ke dalam alur kerja PyTorch mereka menggunakan pustaka transformers Hugging Face. Model dapat diinstansiasi dalam mode blok sparse defaultnya atau dikonfigurasi dengan perhatian penuh. Opsi kustomisasi untuk ukuran blok dan jumlah blok acak juga tersedia, memungkinkan penyetelan halus mekanisme perhatiannya untuk kebutuhan komputasi dan kinerja tertentu. Arsitektur dan kemampuan model menjadikannya alat yang ampuh bagi para peneliti dan pengembang yang bekerja dengan data teks bentuk panjang.

  • KategoriModel AI & LLM
  • Model HargaOpen source
  • PenerapanCloud
  • PlatformWeb

Sorotan google/bigbird-roberta-base

  • Arsitektur Transformer yang diperluas untuk urutan yang lebih panjang

  • Mekanisme perhatian blok sparse

  • Menangani urutan hingga 4096 token

  • Dilatih sebelumnya pada data bahasa Inggris

  • Tujuan Masked Language Modeling (MLM)

  • Mencapai SOTA pada tugas urutan panjang

  • Komputasi efisien dibandingkan dengan perhatian standar

  • Dihangatkan dari checkpoint RoBERTa

  • Jenis perhatian yang dapat disesuaikan (blok sparse, penuh)

  • Ukuran blok dan jumlah blok acak yang dapat disesuaikan

Memulai dengan google/bigbird-roberta-base

  1. Akses model: Impor BigBirdModel dari pustaka transformers.

  2. Siapkan lingkungan: Pastikan PyTorch terinstal.

  3. Instansiasi model: Muat checkpoint 'google/bigbird-roberta-base'.

  4. Konfigurasi perhatian: Opsional tentukan 'attention_type', 'block_size', dan 'num_random_blocks'.

  5. Tokenisasi teks: Gunakan tokenizer untuk menyiapkan teks input.

  6. Hasilkan output: Lewatkan input yang dikodekan ke model untuk ekstraksi fitur.

Kasus Penggunaan google/bigbird-roberta-base

  • Peringkasan Dokumen Panjang
  • QA Konteks Diperluas
  • Analisis Teks
  • Ekstraksi Informasi
  • Pemahaman Dokumen

FAQ dari google/bigbird-roberta-base

Dari Google

Ulasan google/bigbird-roberta-base

Ulasan google/bigbird-roberta-base

Memuat...

Alat AI Populer Seperti google/bigbird-roberta-base

Longformer Base 4096

Model AI

Longformer Base 4096 adalah model transformer yang dirancang untuk memproses dokumen panjang. Model ini dibangun di atas RoBERTa, yang telah dilatih sebelumnya pada urutan yang…

Model AI & LLM
Lihat Alat

Longformer Base 4096

Model AI

Model transformer yang dirancang untuk memproses dokumen panjang. Model ini dibangun di atas RoBERTa, yang telah dilatih sebelumnya pada urutan yang…Longformer Base 4096 adalah model transformer yang dirancang untuk memproses dokumen panjang. Model ini dibangun di atas RoBERTa, yang telah dilatih sebelumnya pada urutan yang…

Model AI & LLM
Lihat Top 5 Model AI

SpanBERT

Repositori GitHub AI

SpanBERT adalah model AI yang berfokus pada peningkatan pra-pelatihan dengan merepresentasikan dan memprediksi rentang teks. Model ini menawarkan model dasar dan besar yang telah…

Model AI & LLM
Lihat Alat

SpanBERT

Repositori GitHub AI

Model AI yang berfokus pada peningkatan pra-pelatihan dengan merepresentasikan dan memprediksi rentang teks. Model ini menawarkan model dasar dan besar yang telah…SpanBERT adalah model AI yang berfokus pada peningkatan pra-pelatihan dengan merepresentasikan dan memprediksi rentang teks. Model ini menawarkan model dasar dan besar yang telah…

Model AI & LLM
Lihat Top 250 Repositori GitHub AI

bigscience/bloom

Model AI

BLOOM adalah model bahasa besar autoregresif multibahasa yang dikembangkan oleh BigScience. Model ini menghasilkan teks yang koheren dalam 46 bahasa dan 13 bahasa pemrograman,…

Model AI & LLM
Lihat Alat

bigscience/bloom

Model AI

BLOOM adalah model bahasa besar autoregresif multibahasa yang dikembangkan oleh BigScience. Model ini menghasilkan teks yang koheren dalam 46 bahasa dan 13 bahasa pemrograman,…

UnggulanModel AI & LLM
Lihat Top 5 Model AI

XLM-RoBERTa Base

Model AI

XLM-RoBERTa adalah model multibahasa yang dilatih sebelumnya pada 2,5TB data dari 100 bahasa. Model ini unggul dalam tugas seperti klasifikasi urutan dan klasifikasi token,…

Model AI & LLM
Lihat Alat

XLM-RoBERTa Base

Model AI

Model multibahasa yang dilatih sebelumnya pada 2,5TB data dari 100 bahasa. Model ini unggul dalam tugas seperti klasifikasi urutan dan klasifikasi token,…XLM-RoBERTa adalah model multibahasa yang dilatih sebelumnya pada 2,5TB data dari 100 bahasa. Model ini unggul dalam tugas seperti klasifikasi urutan dan klasifikasi token,…

UnggulanModel AI & LLM
Lihat Top 5 Model AI

Funnel-Transformer

Repositori GitHub AI

Funnel-Transformer adalah model AI yang mengompresi state tersembunyi untuk mengurangi biaya komputasi. Model ini memungkinkan model yang lebih dalam atau lebih lebar dengan FLOPs…

Model AI & LLM
Lihat Alat

Funnel-Transformer

Repositori GitHub AI

Model AI yang mengompresi state tersembunyi untuk mengurangi biaya komputasi. Model ini memungkinkan model yang lebih dalam atau lebih lebar dengan FLOPs…Funnel-Transformer adalah model AI yang mengompresi state tersembunyi untuk mengurangi biaya komputasi. Model ini memungkinkan model yang lebih dalam atau lebih lebar dengan FLOPs…

Model AI & LLM
Lihat Top 250 Repositori GitHub AI

MASS

Repositori GitHub AI

MASS adalah metode pra-pelatihan untuk tugas generasi bahasa sequence-to-sequence. Metode ini menutupi fragmen kalimat agar di prediksi oleh decoder, meningkatkan tugas seperti…

Model AI & LLM
Lihat Alat

MASS

Repositori GitHub AI

Metode pra-pelatihan untuk tugas generasi bahasa sequence-to-sequence. Metode ini menutupi fragmen kalimat agar di prediksi oleh decoder, meningkatkan tugas seperti…MASS adalah metode pra-pelatihan untuk tugas generasi bahasa sequence-to-sequence. Metode ini menutupi fragmen kalimat agar di prediksi oleh decoder, meningkatkan tugas seperti…

Model AI & LLM
Lihat Top 250 Repositori GitHub AI

Chinchilla

Model AI

Chinchilla adalah model bahasa dengan 70 miliar parameter dari Google DeepMind, dilatih pada 1,3 triliun token untuk menguji apakah model yang lebih kecil yang dilatih pada lebih…

Model AI & LLM
Lihat Alat

Chinchilla

Model AI

Model bahasa dengan 70 miliar parameter dari Google DeepMind, dilatih pada 1,3 triliun token untuk menguji apakah model yang lebih kecil yang dilatih pada lebih…Chinchilla adalah model bahasa dengan 70 miliar parameter dari Google DeepMind, dilatih pada 1,3 triliun token untuk menguji apakah model yang lebih kecil yang dilatih pada lebih…

Model AI & LLM
Lihat Top 5 Model AI

Informer2020

Repositori GitHub AI

Repositori GitHub Informer2020 menyediakan implementasi PyTorch untuk model Informer, yang dirancang untuk peramalan deret waktu urutan panjang yang efisien. Model ini memiliki…

Model AI & LLM
Lihat Alat

Informer2020

Repositori GitHub AI

Repositori GitHub Informer2020 menyediakan implementasi PyTorch untuk model Informer, yang dirancang untuk peramalan deret waktu urutan panjang yang efisien. Model ini memiliki…

Model AI & LLM
Lihat Top 250 Repositori GitHub AI
1 dari 8