Deskripsi
Funnel-Transformer adalah model self-attention baru yang dirancang untuk meningkatkan efisiensi dalam pemrosesan bahasa dengan mengompresi urutan state tersembunyi secara progresif. Kompresi ini secara signifikan mengurangi biaya komputasi sambil secara bersamaan memungkinkan pembangunan model dengan kapasitas yang lebih tinggi, baik lebih dalam maupun lebih lebar, untuk anggaran komputasi yang diberikan. Inovasi inti terletak pada kemampuannya untuk menginvestasikan kembali FLOPs yang dihemat ke dalam kompleksitas model.
Baca Selengkapnya
Selanjutnya, Funnel-Transformer menggabungkan mekanisme decoder yang merekonstruksi representasi mendalam tingkat token dari urutan terkompresi. Kemampuan ini sangat penting untuk memungkinkan metodologi pretraining standar, menjadikan model lebih serbaguna dan dapat diterapkan pada berbagai tugas pemrosesan bahasa alami. Detail teknis model dan validasi eksperimental disajikan dalam makalah penelitian.
Proyek ini menyediakan implementasi dalam TensorFlow dan PyTorch. Versi TensorFlow secara khusus dikembangkan untuk pretraining dan finetuning TPU, mendukung tugas-tugas seperti finetuning benchmark GLUE, klasifikasi teks, SQuAD, dan RACE. Implementasi PyTorch berfungsi sebagai contoh, terutama mendukung finetuning GPU untuk benchmark GLUE dan klasifikasi teks.
Model yang telah dilatih sebelumnya tersedia dalam berbagai ukuran dan konfigurasi, termasuk kedalaman lapisan dan jumlah unit tersembunyi yang berbeda. Setiap paket model mencakup checkpoint TensorFlow atau PyTorch, file kosakata Word Piece untuk tokenisasi, dan file konfigurasi yang merinci hyperparameter model. Skrip juga disediakan untuk mengunduh semua checkpoint yang tersedia. Instruksi untuk menggunakan model yang telah dilatih sebelumnya dan finetuning dirinci dalam file README masing-masing di dalam direktori TensorFlow dan PyTorch.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Fitur Inti Funnel-Transformer
Kompresi progresif state tersembunyi
Pengurangan biaya komputasi
Peningkatan kapasitas model (kedalaman/lebar)
Pemulihan representasi tingkat token
Memungkinkan pretraining standar
Implementasi TensorFlow untuk TPU
Implementasi PyTorch untuk GPU
Mendukung benchmark GLUE, klasifikasi teks, SQuAD, RACE
Berbagai ukuran model yang telah dilatih sebelumnya tersedia
Termasuk checkpoint model, kosakata, dan file konfigurasi
Memulai dengan Funnel-Transformer
Akses Model: Dapatkan kode Funnel-Transformer dan model yang telah dilatih sebelumnya dari repositori GitHub.
Siapkan Lingkungan: Instal dependensi yang diperlukan untuk TensorFlow atau PyTorch.
Integrasikan Melalui Kode: Muat checkpoint model dan file konfigurasi ke dalam framework pilihan Anda.
Fine-tune Model: Sesuaikan model untuk tugas hilir tertentu menggunakan skrip finetuning yang disediakan.
Gunakan Bobot yang Telah Dilatih Sebelumnya: Terapkan checkpoint yang diunduh untuk inferensi atau pelatihan lebih lanjut.
Tokenisasi Data: Gunakan kosakata Word Piece yang disediakan untuk pra-pemrosesan teks.
Kasus Penggunaan Funnel-Transformer
- Pemodelan Bahasa yang Efisien
- Klasifikasi Teks
- Penjawab Pertanyaan
- Kompresi Urutan
- Pretraining Standar
- Penelitian dan Pengembangan
