Deskripsi
Inkling adalah model AI multimodal yang dirancang untuk tujuan umum oleh Thinking Machines Lab, Inc. Model ini memiliki total 975 miliar parameter, dengan 41 miliar parameter aktif, dan dirancang untuk menerima input teks, gambar, dan audio, menghasilkan output teks. Model ini ditujukan untuk digunakan dalam bahasa Inggris dan bahasa lainnya, menjadikannya serbaguna untuk berbagai aplikasi. Pengembang dapat memanfaatkan Inkling untuk membangun aplikasi bertenaga AI, termasuk sistem agen dan penggunaan alat, asisten pemrograman, chatbot, dan sistem generasi yang ditingkatkan dengan pengambilan. Desainnya mendukung penggunaan percakapan umum, mengikuti instruksi, dan tugas-tugas bahasa alami serta multimodal lainnya.
Baca Selengkapnya
Arsitektur Inkling didasarkan pada transformer dekoder saja dengan 66 lapisan dan backbone Mixture-of-Experts (MoE) yang jarang. Setiap token diarahkan ke enam dari 256 ahli, dengan dua ahli bersama yang aktif pada setiap token. Model ini secara native multimodal, mengkodekan gambar melalui encoder patch hierarkis dan audio melalui pengkodean token diskrit. Semua modalitas diproyeksikan ke dalam ruang tersembunyi bersama dan diproses secara bersamaan oleh dekoder. Inkling mendukung jendela konteks hingga 1 juta token, menjadikannya mampu menangani data input yang luas.
Inkling tersedia melalui akses API melalui Tinker, layanan untuk fine-tuning, dan melalui penyedia inferensi pihak ketiga. Bobot model dapat diunduh dari Hugging Face. Untuk kinerja optimal, konfigurasi perangkat keras tertentu diperlukan, termasuk kluster GPU dengan VRAM yang substansial. Model ini telah menjalani evaluasi keselamatan yang luas untuk mengurangi risiko yang terkait dengan interaksi multimodal, memastikan bahwa model ini tidak memberikan peningkatan material di luar model bobot terbuka yang ada. Namun, pengguna disarankan untuk menerapkan langkah-langkah perlindungan tambahan dan pengawasan manusia saat menerapkan Inkling dalam konteks yang berisiko tinggi.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan Inkling Model Card
Tipe Model: Transformer autoregressive multimodal
API Tersedia: Ya
Lisensi: Apache 2.0
Parameter: 975B total, 41B aktif
Dukungan Fine-tuning: Ya
Multimodal: Ya
Dukungan Numerik: BF16, MXFP8, NVFP4
Jendela Konteks: 1M token
Memulai dengan Inkling Model Card
Akses model: Kunjungi layanan Tinker untuk akses API.
Autentikasi: Siapkan akun Anda dan dapatkan kunci API.
Siapkan lingkungan: Pastikan perangkat keras Anda memenuhi persyaratan model.
Integrasi melalui API: Gunakan dokumentasi yang disediakan untuk mengintegrasikan Inkling ke dalam aplikasi Anda.
Optimalkan: Lakukan fine-tuning model sesuai kebutuhan untuk kasus penggunaan spesifik Anda.
Kasus Penggunaan Inkling Model Card
- Chatbot
- Asisten Pemrograman
- Aplikasi Multimodal
- Mengikuti Instruksi
- Generasi yang Ditingkatkan dengan Pengambilan
