Deskripsi
HRM-Text-1B adalah model bahasa yang canggih yang dikembangkan oleh Sapient Intelligence, dengan arsitektur 1 miliar parameter. Model ini dibangun di atas arsitektur Hierarchical Reasoning Model (HRM), yang menggunakan desain rekuren dual-timescale. Desain ini mengintegrasikan dua modul Transformer, tingkat tinggi dan tingkat rendah, untuk memproses embedding input selama beberapa siklus, memungkinkan kedalaman komputasi yang tidak terbatas sambil mempertahankan jumlah parameter yang terbatas.
Baca Selengkapnya
Model ini telah dilatih sebelumnya pada tujuan PrefixLM dengan token prefix kondisi, menjadikannya cocok untuk berbagai tugas NLP seperti klasifikasi, ekstraksi, dan keluaran terstruktur. Namun, penting untuk dicatat bahwa HRM-Text-1B adalah checkpoint model pra-alignment dan tidak dioptimalkan untuk tugas chat atau mengikuti instruksi. Pengguna yang tertarik pada aplikasi semacam itu perlu melakukan penyelarasan lebih lanjut, seperti fine-tuning terawasi (SFT) atau pembelajaran penguatan (RL), pada data spesifik tugas.
HRM-Text-1B mendukung berbagai teknik prompting, termasuk kondisi langsung dengan contoh few-shot untuk tugas NLP dan kondisi komposit untuk tugas penalaran dan matematika. Arsitektur model mencakup fitur seperti perhatian terjaga, pengkodean posisi RoPE, dan aktivasi SwiGLU, memastikan kinerja yang kuat di berbagai tugas.
Meskipun model ini sebagian besar dilatih pada korpus teks bahasa Inggris, model ini menunjukkan potensi untuk adaptasi dalam tugas pengkodean melalui eksperimen pihak ketiga. Namun, pengguna harus menyadari keterbatasannya, termasuk potensi bias dan ketidakakuratan dalam keluaran. HRM-Text-1B bersifat open-source di bawah Lisensi Apache 2.0, mendorong penelitian dan pengembangan lebih lanjut.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan HRM-Text-1B
1 Miliar Parameter
Arsitektur Model Penalaran Hierarkis
Desain Rekuren Dual-Timescale
Pra-pelatihan Tujuan PrefixLM
Mekanisme Perhatian Terjaga
Pengkodean Posisi RoPE
Aktivasi SwiGLU
Open Source di bawah Lisensi Apache 2.0
Memulai dengan HRM-Text-1B
Akses halaman model: Kunjungi halaman model Hugging Face untuk HRM-Text-1B.
Autentikasi: Masuk ke akun Hugging Face Anda.
Konfigurasi: Siapkan model dengan versi transformer yang diperlukan.
Kirim prompt: Gunakan teknik prompting yang sesuai untuk tugas Anda.
Fine-tune: Lakukan penyelarasan tambahan untuk aplikasi spesifik.
Kasus Penggunaan HRM-Text-1B
- Klasifikasi NLP
- Ekstraksi Data
- Tugas Penalaran
- QA Bentuk Pendek
- Generasi Terbuka
