Description
Inkling-Small est un modèle multimodal à usage général conçu pour gérer des entrées textuelles, d'images et audio, produisant des sorties textuelles. Il est adapté à une utilisation en anglais et dans d'autres langues, et prend en charge plusieurs langages de programmation. Les développeurs peuvent utiliser Inkling-Small pour construire des applications alimentées par l'IA telles que des chatbots, des assistants de codage et des systèmes de génération augmentée par récupération.
Lire la suite
L'architecture du modèle est un transformateur à 42 couches uniquement décodeur avec un backbone Mixture-of-Experts éparse. Chaque jeton est dirigé vers 6 des 256 experts, plus 2 experts partagés actifs sur chaque jeton. Il dispose d'un mécanisme d'attention hybride combinant des couches locales et globales. Inkling-Small est nativement multimodal, encodant les images via un encodeur de patch hiérarchique et l'audio via un encodage de jetons discrets, toutes les modalités étant projetées dans un espace caché partagé.
Inkling-Small prend en charge le déploiement local en utilisant des bibliothèques open-source telles que SGLang, vLLM, TokenSpeed, Unsloth et Huggingface. L'accès à l'API est disponible via des fournisseurs d'inférence tiers. Les données d'entraînement du modèle comprennent divers types de contenu provenant de dépôts disponibles publiquement, d'acquisitions tierces et de génération synthétique.
Des évaluations de sécurité ont été menées pour garantir l'utilisation responsable d'Inkling-Small à travers des entrées textuelles, audio et d'images. Des atténuations ont été appliquées pour réduire les risques, et des outils de modération courants peuvent être superposés autour du modèle pour améliorer la sécurité. Les limitations incluent des biais potentiels et des hallucinations, communs aux modèles de base, et une performance dégradée lors de longues conversations. Les développeurs sont encouragés à appliquer une supervision humaine et des mesures de protection supplémentaires pour des applications à enjeux élevés.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud, Auto-hébergé
- PlateformesWeb
Points forts de Inkling-Small
Modèle multimodal
Poids ouverts
Accès API
Support de déploiement local
Transformateur à 42 couches
Mixture-of-Experts éparse
Encodeur de patch hiérarchique
Encodage de jetons discrets
Premiers pas avec Inkling-Small
Accéder à la page du modèle : visiter Hugging Face
S'authentifier : configurer les identifiants d'accès
Configurer : ajuster les paramètres du modèle
Envoyer des invites : entrer du texte, une image ou de l'audio
Affiner : personnaliser les sorties du modèle
Cas d'utilisation de Inkling-Small
- Chatbots
- Assistants de codage
- Applications multimodales
- Suivi d'instructions
- Recherche









