Deskripsi
Sarvam-Prism adalah model keputusan khusus yang dikembangkan oleh Sarvam, memanfaatkan kekuatan dari backbone Sarvam-105B. Fungsi utamanya adalah klasifikasi teks, di mana ia memproses konteks yang diberikan dan satu atau lebih pertanyaan, masing-masing disertai dengan seperangkat jawaban yang tetap. Berbeda dengan model AI generatif, Sarvam-Prism tidak menciptakan teks baru; sebaliknya, ia memberikan probabilitas untuk setiap opsi jawaban yang telah ditentukan dalam satu kali proses maju, memastikan bahwa output selalu merupakan salah satu pilihan yang disediakan.
Baca Selengkapnya
Model ini sangat cocok untuk aplikasi yang memerlukan pengambilan keputusan yang tepat dan terbatasi, bukan generasi teks yang terbuka. Ia beroperasi dengan mengubah setiap pertanyaan menjadi urutan yang mencakup status, instruksi, dan setiap opsi, diikuti oleh penanda jawaban. Sebuah kepala keputusan kecil kemudian membaca status tersembunyi di akhir setiap opsi dan di penanda jawaban untuk menghasilkan probabilitas untuk setiap opsi. Arsitektur model ini mencakup penyesuaian masker perhatian tertentu dan kernel FP8 untuk inferensi yang efisien.
Sarvam-Prism tersedia untuk diunduh dan dapat dijalankan di Hugging Face, dengan persyaratan perangkat keras tertentu termasuk GPU NVIDIA dengan dukungan FP8 dan sekitar 120 GB memori bebas (misalnya, B200 atau H200). Model ini juga memerlukan Python 3.10+ dan kompiler C. Bagi mereka yang tidak memiliki perangkat keras yang diperlukan, Sarvam-Prism juga ditawarkan sebagai API yang dihosting dari Sarvam, menghilangkan kebutuhan akan sumber daya GPU lokal.
Kinerja model ini dioptimalkan untuk kecepatan, mencapai median 44 ms per permintaan pada NVIDIA B200, seperti yang diukur pada tolok ukur Indeks Keputusan publik. Model ini mendukung berbagai format permintaan, termasuk jenis 'choice', 'yes_no', dan 'score', memungkinkan desain pertanyaan yang fleksibel. Semua pertanyaan dalam satu permintaan dinilai bersama dalam batch, dengan setiap pertanyaan dinilai secara independen. Batas konteks ditetapkan pada 131.072 token per pertanyaan, mengakomodasi input yang luas.
Bobot disimpan dalam tata letak FP8 khusus, menjadikannya tidak kompatibel dengan server inferensi tujuan umum atau model standar seperti AutoModelForCausalLM. Kode inferensi model, termasuk pengkodean input, masker perhatian, kepala keputusan, dan kernel FP8, disediakan dalam file `prism.py`. Sarvam-Prism dirilis di bawah Lisensi Apache 2.0, menjadikannya dapat diakses untuk berbagai aplikasi.
- KategoriModel AI & LLM
- Model HargaFreemium
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Sorotan Sarvam-Prism
Model keputusan klasifikasi teks
Dibangun di atas backbone Sarvam-105B
Mengembalikan probabilitas untuk jawaban yang telah ditentukan
Tidak menghasilkan teks, hanya memilih dari opsi
Tersedia untuk diunduh di Hugging Face
API yang dihosting tersedia dari Sarvam (tanpa GPU diperlukan)
Memerlukan GPU NVIDIA dengan dukungan FP8 (misalnya, B200/H200)
Memerlukan Python 3.10+ dan kompiler C
Dioptimalkan untuk kecepatan dengan median 44 ms per permintaan
Mendukung jenis pertanyaan 'choice', 'yes_no', dan 'score'
Memproses pertanyaan dalam batch
Batas konteks 131.072 token per pertanyaan
Bobot disimpan dalam tata letak FP8 khusus
Kode inferensi disediakan dalam `prism.py`
Lisensi di bawah Apache 2.0
Memulai dengan Sarvam-Prism
Unduh Model dan Kode: Dapatkan model Sarvam-Prism dan kode terkait dari repositori Hugging Face-nya.
Instal Ketergantungan: Siapkan lingkungan Python 3.10+ yang diperlukan dan instal semua ketergantungan yang diperlukan.
Siapkan Perangkat Keras: Pastikan Anda memiliki GPU NVIDIA dengan dukungan FP8 dan setidaknya 120 GB memori bebas, seperti B200 atau H200.
Muat Model: Gunakan `Prism.from_pretrained("sarvamai/prism")` atau muat model dengan `prism.py` sesuai petunjuk.
Format Permintaan: Struktur input Anda dengan `state` (konteks) dan `questions` (peta nama pertanyaan ke objek pertanyaan), menentukan `type`, `instructions`, dan `criteria`.
Jalankan Inferensi: Eksekusi model dengan permintaan yang telah diformat untuk menerima probabilitas untuk setiap opsi jawaban.
Akses API (Opsional): Manfaatkan API yang dihosting dari Sarvam jika sumber daya GPU lokal tidak tersedia, mengikuti dokumentasi API.
Kasus Penggunaan Sarvam-Prism
- Pengambilan Keputusan Terstruktur
- Klasifikasi Teks
- Analisis Survei
- Menjawab Pertanyaan
- Penilaian Sentimen
- Pemeriksaan Kepatuhan
- Moderasi Konten
