Inkling 2 Small

Dirilis dengan bobot terbuka, Inkling 2 Small mendorong penelitian, penyempurnaan, dan integrasi ke dalam produk pihak ketiga oleh pengembang hilir. Pengguna dapat bereksperimen dengan model ini di Tinker Playground atau mengaksesnya melalui API menggunakan Tinker Cookbook. Untuk penyempurnaan dengan Tinker, paket tml-renderers diperlukan. Model ini mendukung inferensi lokal melalui berbagai kerangka kerja termasuk SGLang, vLLM, TokenSpeed, dan Unsloth. Selain itu, model ini dapat dilatih ulang dengan Miles, SkyRL, dan Snowflake Cortex Training. Akses API juga tersedia melalui penyedia inferensi pihak ketiga seperti NVIDIA, Fireworks, Together, Baseten, Nebius, Modal, dan Cloudflare.

Persyaratan perangkat keras untuk Inkling 2 Small tergantung pada format checkpoint. Checkpoint NVFP4 utama memerlukan kluster GPU dengan setidaknya 500GB VRAM agregat, yang dapat dicapai dengan konfigurasi seperti 2x GPU NVIDIA B300 atau 4x GPU NVIDIA H200. Checkpoint alternatif MXFP8 memerlukan setidaknya 800GB VRAM agregat, yang dipenuhi oleh 4x GPU NVIDIA B300 atau 8x GPU NVIDIA H200. Checkpoint NVFP4 direkomendasikan untuk semua kasus penggunaan karena merupakan presisi asli untuk model ini, menawarkan kinerja optimal.

Secara arsitektural, Inkling 2 Small adalah transformer autoregresif multimodal. Model ini memiliki transformer dekoder saja dengan 48 lapisan dan backbone feed-forward Mixture-of-Experts (MoE) yang jarang, di mana setiap token diarahkan ke 8 dari 384 ahli. Mekanisme perhatiannya menggabungkan lapisan lokal dan global. Model ini secara asli multimodal, mengkodekan gambar melalui transformer visi dan memproyeksikan input gambar dan teks ke dalam ruang tersembunyi bersama untuk pemrosesan bersama oleh dekoder. Model ini mendukung jendela konteks hingga 1 juta token dan menerima teks dalam encoding UTF-8 serta format gambar berbasis piksel (idealnya antara 40px dan 4096px per dimensi). Output dihasilkan sebagai teks yang dikodekan dalam UTF-8.

Data pelatihan untuk Inkling 2 Small mencakup berbagai jenis konten, seperti teks, gambar, dan video, yang bersumber dari repositori yang tersedia untuk umum, pihak ketiga, generasi internal, dan augmentasi sintetis. Proses kurasi data melibatkan pembersihan, pemrosesan, dan modifikasi dataset, termasuk penghapusan duplikasi dan penyaringan untuk kualitas dan keamanan. Evaluasi keamanan dilakukan di seluruh interaksi manusia-AI sehari-hari dan pengujian kemampuan berbahaya, dengan mitigasi diterapkan untuk mengurangi risiko. Pengetahuan model ini terbatas pada batas pelatihannya, dan pengguna disarankan untuk menerapkan pengawasan manusia untuk aplikasi berisiko tinggi karena potensi keterbatasan seperti halusinasi dan bias dari data pelatihan.