Inkling Model Card - Thinking Machines Lab

Deskripsi

Inkling adalah model AI multimodal yang dirancang untuk tujuan umum oleh Thinking Machines Lab, Inc. Model ini memiliki total 975 miliar parameter, dengan 41 miliar parameter aktif, dan dirancang untuk menerima input teks, gambar, dan audio, menghasilkan output teks. Model ini ditujukan untuk digunakan dalam bahasa Inggris dan bahasa lainnya, menjadikannya serbaguna untuk berbagai aplikasi. Pengembang dapat memanfaatkan Inkling untuk membangun aplikasi bertenaga AI, termasuk sistem agen dan penggunaan alat, asisten pemrograman, chatbot, dan sistem generasi yang ditingkatkan dengan pengambilan. Desainnya mendukung penggunaan percakapan umum, mengikuti instruksi, dan tugas-tugas bahasa alami serta multimodal lainnya.

Arsitektur Inkling didasarkan pada transformer dekoder saja dengan 66 lapisan dan backbone Mixture-of-Experts (MoE) yang jarang. Setiap token diarahkan ke enam dari 256 ahli, dengan dua ahli bersama yang aktif pada setiap token. Model ini secara native multimodal, mengkodekan gambar melalui encoder patch hierarkis dan audio melalui pengkodean token diskrit. Semua modalitas diproyeksikan ke dalam ruang tersembunyi bersama dan diproses secara bersamaan oleh dekoder. Inkling mendukung jendela konteks hingga 1 juta token, menjadikannya mampu menangani data input yang luas.

Inkling tersedia melalui akses API melalui Tinker, layanan untuk fine-tuning, dan melalui penyedia inferensi pihak ketiga. Bobot model dapat diunduh dari Hugging Face. Untuk kinerja optimal, konfigurasi perangkat keras tertentu diperlukan, termasuk kluster GPU dengan VRAM yang substansial. Model ini telah menjalani evaluasi keselamatan yang luas untuk mengurangi risiko yang terkait dengan interaksi multimodal, memastikan bahwa model ini tidak memberikan peningkatan material di luar model bobot terbuka yang ada. Namun, pengguna disarankan untuk menerapkan langkah-langkah perlindungan tambahan dan pengawasan manusia saat menerapkan Inkling dalam konteks yang berisiko tinggi.

Sorotan Inkling Model Card

• Tipe Model: Transformer autoregressive multimodal

• API Tersedia: Ya

• Lisensi: Apache 2.0

• Parameter: 975B total, 41B aktif

• Dukungan Fine-tuning: Ya

• Multimodal: Ya

• Dukungan Numerik: BF16, MXFP8, NVFP4

• Jendela Konteks: 1M token

Memulai dengan Inkling Model Card

1. 1

   Akses model: Kunjungi layanan Tinker untuk akses API.

2. 2

   Autentikasi: Siapkan akun Anda dan dapatkan kunci API.

3. 3

   Siapkan lingkungan: Pastikan perangkat keras Anda memenuhi persyaratan model.

4. 4

   Integrasi melalui API: Gunakan dokumentasi yang disediakan untuk mengintegrasikan Inkling ke dalam aplikasi Anda.

5. 5

   Optimalkan: Lakukan fine-tuning model sesuai kebutuhan untuk kasus penggunaan spesifik Anda.

Kasus Penggunaan Inkling Model Card

• Chatbot
• Asisten Pemrograman
• Aplikasi Multimodal
• Mengikuti Instruksi
• Generasi yang Ditingkatkan dengan Pengambilan

FAQ dari Inkling Model Card

• Apa itu Inkling?

  Inkling adalah model AI multimodal yang menerima input teks, gambar, dan audio untuk menghasilkan output teks.

• Apa saja penggunaan yang dimaksudkan untuk Inkling?

  Inkling ditujukan untuk digunakan dalam aplikasi seperti chatbot, asisten pemrograman, dan sistem agen.

• Apa arsitektur Inkling?

  Inkling didasarkan pada transformer dekoder saja dengan 66 lapisan dan backbone Mixture-of-Experts yang jarang.

• Berapa banyak parameter yang dimiliki Inkling?

  Inkling memiliki total 975 miliar parameter, dengan 41 miliar aktif.

• Apakah Inkling tersedia untuk fine-tuning?

  Ya, Inkling mendukung fine-tuning dan dirilis dengan bobot terbuka.

• Perangkat keras apa yang diperlukan untuk menjalankan Inkling?

  Inkling memerlukan kluster GPU dengan setidaknya 2 TB VRAM agregat untuk checkpoint BF16.

• Di mana saya bisa mengakses bobot Inkling?

  Bobot untuk Inkling dapat diunduh dari Hugging Face.

• Langkah-langkah keselamatan apa yang diterapkan untuk Inkling?

  Inkling telah menjalani evaluasi keselamatan untuk mengurangi risiko yang terkait dengan interaksi multimodal.