Deskripsi
Inkling 2 Mini adalah model multimodal yang dirancang untuk memproses input teks dan gambar, kemudian menghasilkan output teks. Dikembangkan oleh Thinking Machines Lab, Inc., model ini dirancang untuk aplikasi yang luas, mendukung bahasa Inggris dan bahasa lainnya, serta berbagai bahasa pemrograman. Model ini sangat cocok untuk pengembang yang terlibat dalam menciptakan aplikasi bertenaga AI, termasuk sistem agen dan penggunaan alat, asisten pengkodean, chatbot, dan sistem generasi yang diperkuat pengambilan (RAG). Selain itu, model ini mampu digunakan untuk percakapan umum, mengikuti instruksi, dan berbagai tugas bahasa alami serta visual.
Baca Selengkapnya
Model ini dirilis dengan bobot terbuka di bawah lisensi Apache 2.0, mendorong penelitian, fine-tuning, dan integrasi ke dalam produk pihak ketiga oleh pengembang hilir. Model ini didistribusikan sebagai satu checkpoint dengan ukuran sekitar 20GB, menggunakan presisi campuran NVFP4 dan MXFP8. Ukuran yang kompak ini memungkinkan inferensi lokal pada perangkat keras yang kompatibel, termasuk 1x NVIDIA DGX Spark, perangkat Apple silicon dengan memori 32GB atau lebih (MacBook, Mac mini, Studio), dan GPU lainnya dengan rekomendasi VRAM 32GB atau lebih.
Inkling 2 Mini mendukung inferensi lokal melalui beberapa kerangka kerja, termasuk Hugging Face, SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, Unsloth (termasuk versi GGUF yang terkuantisasi), llama.cpp (untuk versi GGUF yang terkuantisasi), Llama App, Ollama, dan Exo Labs (pada Apple silicon). Model ini juga dapat dilatih ulang dengan Miles dan SkyRL. Model ini memiliki arsitektur transformer hanya dekoder dengan 24 lapisan dan lapisan feed-forward Mixture-of-Experts (MoE) yang jarang. Dua belas lapisan tengahnya berjalan tiga kali dengan bobot yang dibagikan, secara efektif memberikan 48 aplikasi lapisan per token dari 24 lapisan bobot. Setiap lapisan mengarahkan token ke 8 dari 128 ahli, dan perhatian adalah hibrida dari lapisan lokal dan global. Gambar dikodekan melalui transformer visi, dengan input gambar dan teks diproyeksikan ke dalam ruang tersembunyi bersama untuk pemrosesan bersama oleh dekoder. Model ini memiliki 26,4 miliar parameter, dengan 3,4 miliar parameter aktif, dan mendukung jendela konteks hingga 1 juta token.
Data pelatihan untuk Inkling 2 Mini mencakup berbagai jenis konten, termasuk teks, gambar, dan video, yang bersumber dari repositori yang tersedia untuk umum, akuisisi pihak ketiga, generasi internal, dan augmentasi sintetis. Kurasi data melibatkan pembersihan, pemrosesan, dan modifikasi dataset, termasuk penghapusan duplikasi dan penyaringan untuk kualitas dan keamanan. Evaluasi keamanan dilakukan, mencakup interaksi manusia-AI sehari-hari dan pengujian kemampuan berbahaya, dengan mitigasi diterapkan melalui pelatihan penyelarasan. Keterbatasan model ini termasuk potensi halusinasi, kegagalan mengikuti instruksi sesekali, penurunan kinerja dalam percakapan panjang, dan bias dari data pelatihan. Model ini kurang mampu dibandingkan model yang lebih besar dalam mengingat fakta dan pertanyaan yang berat pengetahuan, dan mungkin menunjukkan penalaran berulang atau ketidakandalan agen, terutama dalam bahasa non-Inggris. Pengembang disarankan untuk menerapkan pengawasan manusia, menjalankan beban kerja agen di sandbox, dan melakukan evaluasi independen sebelum penerapan.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanBerjalan lokal
- PlatformWeb
Sorotan Inkling 2 Mini
Input Multimodal: Menerima input teks dan gambar untuk pemrosesan.
Generasi Output Teks: Menghasilkan output teks berdasarkan input multimodal.
Model Serbaguna: Dirancang untuk berbagai aplikasi dan tugas.
Dukungan Multibahasa: Berfungsi dalam bahasa Inggris dan bahasa lainnya.
Dukungan Berbagai Bahasa Pemrograman: Kompatibel di berbagai lingkungan pemrograman.
Rilis Bobot Terbuka: Tersedia untuk diunduh dan digunakan dengan bobot terbuka.
Lisensi Apache 2.0: Memberikan fleksibilitas untuk penelitian, fine-tuning, dan integrasi.
Fokus pada Pengembang: Ditujukan untuk membangun aplikasi bertenaga AI.
Dukungan Sistem Agen: Cocok untuk mengembangkan sistem agen dan penggunaan alat.
Kemampuan Asisten Pengkodean: Dapat digunakan untuk membuat asisten pengkodean.
Integrasi Chatbot: Memfasilitasi pengembangan chatbot.
Sistem Generasi yang Diperkuat Pengambilan (RAG): Mendukung pembuatan sistem RAG.
Kemampuan Inferensi Lokal: Dapat dijalankan pada komputasi AI lokal dengan perangkat keras yang ditentukan.
Dukungan Kerangka Kerja Luas: Kompatibel dengan Hugging Face, SGLang, vLLM, dan lainnya.
Opsi Pelatihan Ulang: Dapat dilatih ulang dengan Miles dan SkyRL.
Jendela Konteks Besar: Mendukung hingga 1 juta token.
Memulai dengan Inkling 2 Mini
Unduh Bobot Model: Akses dan unduh bobot Inkling 2 Mini dari Hugging Face.
Akses melalui Platform Tinker: Manfaatkan platform fine-tuning Tinker untuk akses API dan interaksi model.
Instal Renderer Tinker: Instal paket tml-renderers untuk integrasi platform Tinker.
Konfigurasi Perangkat Keras Lokal: Pastikan perangkat keras yang diperlukan (misalnya, NVIDIA DGX Spark, Apple silicon dengan memori 32GB+) tersedia.
Instal Kerangka Kerja Perangkat Lunak: Siapkan kerangka kerja inferensi lokal yang didukung seperti Hugging Face, SGLang, atau llama.cpp.
Jalankan Inferensi: Eksekusi model secara lokal menggunakan kerangka kerja yang dipilih untuk generasi teks dari input gambar dan teks.
Kasus Penggunaan Inkling 2 Mini
- Pengembangan Aplikasi AI
- Pembuatan Sistem Agen
- Alat Asisten Pengkodean
- Implementasi Chatbot
- Generasi yang Diperkuat Pengambilan
- AI Percakapan Umum
- Pemrosesan Bahasa Alami
- Pemrosesan Tugas Visual
- Fine-tuning Model
- Integrasi Produk Pihak Ketiga







