Inkling 2 Small

Lancé avec des poids ouverts, Inkling 2 Small encourage la recherche, le fine-tuning et l'intégration dans des produits tiers par des développeurs en aval. Les utilisateurs peuvent expérimenter avec le modèle sur le Tinker Playground ou y accéder via l'API en utilisant le Tinker Cookbook. Pour le fine-tuning avec Tinker, le package tml-renderers est requis. Le modèle prend en charge l'inférence locale à travers divers frameworks, y compris SGLang, vLLM, TokenSpeed et Unsloth. De plus, il peut être post-entraîné avec Miles, SkyRL et Snowflake Cortex Training. L'accès à l'API est également disponible via des fournisseurs d'inférence tiers tels que NVIDIA, Fireworks, Together, Baseten, Nebius, Modal et Cloudflare.

Les exigences matérielles pour Inkling 2 Small dépendent du format de point de contrôle. Le point de contrôle principal NVFP4 nécessite un cluster GPU avec au moins 500 Go de VRAM agrégée, réalisable avec des configurations telles que 2x GPU NVIDIA B300 ou 4x GPU NVIDIA H200. Le point de contrôle alternatif MXFP8 nécessite au moins 800 Go de VRAM agrégée, atteint par 4x GPU NVIDIA B300 ou 8x GPU NVIDIA H200. Le point de contrôle NVFP4 est recommandé pour tous les cas d'utilisation car il s'agit de la précision native du modèle, offrant des performances optimales.

Architecturalement, Inkling 2 Small est un transformateur autoregressif multimodal. Il dispose d'un transformateur décodeur uniquement à 48 couches avec un backbone de type Mixture-of-Experts (MoE) peu dense, où chaque jeton est dirigé vers 8 des 384 experts. Son mécanisme d'attention combine des couches locales et globales. Le modèle est nativement multimodal, encodant des images via un transformateur de vision et projetant à la fois les entrées d'image et de texte dans un espace caché partagé pour un traitement conjoint par le décodeur. Il prend en charge une fenêtre de contexte allant jusqu'à 1 million de jetons et accepte le texte en encodage UTF-8 et les formats d'image basés sur des pixels (idéalement entre 40px et 4096px par dimension). Les sorties sont générées sous forme de texte encodé en UTF-8.

Les données d'entraînement pour Inkling 2 Small comprennent une gamme diversifiée de types de contenu, tels que du texte, des images et des vidéos, provenant de dépôts disponibles publiquement, de tiers, de génération interne et d'augmentation synthétique. Le processus de curation des données implique le nettoyage, le traitement et la modification des ensembles de données, y compris la dé-duplication et le filtrage pour la qualité et la sécurité. Des évaluations de sécurité ont été menées sur les interactions humaines-IA quotidiennes et les tests de capacités dangereuses, avec des atténuations appliquées pour réduire les risques. Les connaissances du modèle sont limitées à sa date de coupure d'entraînement, et les utilisateurs sont conseillés d'appliquer une supervision humaine pour les applications à enjeux élevés en raison de limitations potentielles telles que l'hallucination et les biais provenant des données d'entraînement.