Description
Inkling est un modèle d'IA multimodal à usage général développé par Thinking Machines Lab, Inc. Il dispose d'un total de 975 milliards de paramètres, avec 41 milliards de paramètres actifs, et est conçu pour accepter des entrées textuelles, d'image et audio, générant des sorties textuelles. Le modèle est destiné à être utilisé en anglais et dans d'autres langues, ce qui le rend polyvalent pour diverses applications. Les développeurs peuvent utiliser Inkling pour créer des applications alimentées par l'IA, y compris des systèmes agentiques et d'utilisation d'outils, des assistants de codage, des chatbots et des systèmes de génération augmentée par récupération. Son design prend en charge l'utilisation conversationnelle à usage général, le suivi d'instructions et d'autres tâches de langage naturel et multimodales.
Lire la suite
L'architecture d'Inkling est basée sur un transformateur décodeur uniquement à 66 couches avec un backbone Mixture-of-Experts (MoE) éparse. Chaque jeton est dirigé vers six des 256 experts, avec deux experts partagés actifs sur chaque jeton. Le modèle est nativement multimodal, encodant les images via un encodeur de patchs hiérarchique et l'audio par le biais d'un encodage de jetons discrets. Toutes les modalités sont projetées dans un espace caché partagé et traitées conjointement par le décodeur. Inkling prend en charge une fenêtre de contexte allant jusqu'à 1 million de jetons, ce qui lui permet de gérer d'importantes données d'entrée.
Inkling est disponible via un accès API via Tinker, le service de fine-tuning, et par le biais de fournisseurs d'inférence tiers. Les poids du modèle peuvent être téléchargés depuis Hugging Face. Pour des performances optimales, des configurations matérielles spécifiques sont requises, y compris des clusters GPU avec une VRAM substantielle. Le modèle a subi des évaluations de sécurité approfondies pour atténuer les risques associés aux interactions multimodales, garantissant qu'il ne présente pas d'augmentation matérielle par rapport aux modèles à poids ouverts existants. Cependant, les utilisateurs sont conseillés de mettre en œuvre des mesures de protection supplémentaires et une supervision humaine lors du déploiement d'Inkling dans des contextes à enjeux élevés.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de Carte du modèle Inkling
Type de modèle : Transformateur autoregressif multimodal
API disponible : Oui
Licence : Apache 2.0
Paramètres : 975B au total, 41B actifs
Support du fine-tuning : Oui
Multimodal : Oui
Support numérique : BF16, MXFP8, NVFP4
Fenêtre de contexte : 1M jetons
Premiers pas avec Carte du modèle Inkling
Accéder au modèle : Visitez le service Tinker pour l'accès API.
Authentifier : Configurez votre compte et obtenez des clés API.
Configurer l'environnement : Assurez-vous que votre matériel répond aux exigences du modèle.
Intégrer via l'API : Utilisez la documentation fournie pour intégrer Inkling dans votre application.
Optimiser : Ajustez le modèle si nécessaire pour votre cas d'utilisation spécifique.
Cas d'utilisation de Carte du modèle Inkling
- Chatbots
- Assistants de codage
- Applications multimodales
- Suivi d'instructions
- Génération augmentée par récupération
