Descripción
Inkling es un modelo de IA multimodal de propósito general desarrollado por Thinking Machines Lab, Inc. Cuenta con un total de 975 mil millones de parámetros, con 41 mil millones de parámetros activos, y está diseñado para aceptar entradas de texto, imagen y audio, generando salidas de texto. El modelo está destinado a su uso en inglés y otros idiomas, lo que lo hace versátil para diversas aplicaciones. Los desarrolladores pueden utilizar Inkling para construir aplicaciones impulsadas por IA, incluidos sistemas de uso de herramientas y agentes, asistentes de codificación, chatbots y sistemas de generación aumentada por recuperación.
Su diseño admite un uso conversacional de propósito general, seguimiento de instrucciones y otras tareas de lenguaje natural y multimodal. Inkling se lanza con pesos abiertos, lo que permite la investigación, el ajuste fino y la integración en productos de terceros por parte de desarrolladores posteriores.
La arquitectura de Inkling se basa en un transformador de solo decodificador de 66 capas con un backbone de Mixture-of-Experts (MoE) disperso. Cada token se dirige a seis de 256 expertos, con dos expertos compartidos activos en cada token. El modelo es nativamente multimodal, codificando imágenes a través de un codificador jerárquico de parches y audio mediante codificación de tokens discretos. Todas las modalidades se proyectan en un espacio oculto compartido y se procesan conjuntamente por el decodificador. Inkling admite una ventana de contexto de hasta 1 millón de tokens, lo que le permite manejar datos de entrada extensos.
Inkling está disponible a través del acceso a la API mediante Tinker, el servicio para ajuste fino, y a través de proveedores de inferencia de terceros. Los pesos del modelo se pueden descargar desde Hugging Face. Para un rendimiento óptimo, se requieren configuraciones de hardware específicas, incluidos clústeres de GPU con un VRAM sustancial. El modelo ha sido sometido a extensas evaluaciones de seguridad para mitigar los riesgos asociados con las interacciones multimodales, asegurando que no presente un aumento material más allá de los modelos de pesos abiertos existentes. Sin embargo, se aconseja a los usuarios implementar salvaguardias adicionales y supervisión humana al desplegar Inkling en contextos de alto riesgo.
Aspectos destacados de Tarjeta del Modelo Inkling
Tipo de Modelo: Transformador autorregresivo multimodal
API Disponible: Sí
Licencia: Apache 2.0
Parámetros: 975B total, 41B activos
Soporte para Ajuste Fino: Sí
Multimodal: Sí
Soporte Numérico: BF16, MXFP8, NVFP4
Ventana de Contexto: 1M tokens
Primeros pasos con Tarjeta del Modelo Inkling
Acceder al modelo: Visita el servicio Tinker para acceso a la API.
Autenticarse: Configura tu cuenta y obtén claves de API.
Configurar el entorno: Asegúrate de que tu hardware cumpla con los requisitos del modelo.
Integrar a través de la API: Utiliza la documentación proporcionada para integrar Inkling en tu aplicación.
Optimizar: Ajusta el modelo según sea necesario para tu caso de uso específico.
Casos de uso de Tarjeta del Modelo Inkling
- Chatbots
- Asistentes de Codificación
- Aplicaciones Multimodales
- Seguimiento de Instrucciones
- Generación Aumentada por Recuperación
