Descripción
Inkling 2 Mini es un modelo multimodal versátil diseñado para procesar tanto entradas de texto como de imagen, generando posteriormente salidas de texto. Desarrollado por Thinking Machines Lab, Inc., este modelo está diseñado para una amplia aplicabilidad, soportando inglés y otros idiomas, así como múltiples lenguajes de programación. Es particularmente adecuado para desarrolladores que crean aplicaciones impulsadas por IA, incluyendo sistemas agenticos y de uso de herramientas, asistentes de codificación, chatbots y sistemas de generación aumentada por recuperación (RAG). Además, es capaz de uso conversacional de propósito general, seguimiento de instrucciones y diversas tareas de lenguaje natural y visual.
Leer más
El modelo se lanza con pesos abiertos bajo una licencia Apache 2.0, fomentando la investigación, el ajuste fino y la integración en productos de terceros por parte de desarrolladores posteriores. Se distribuye como un único punto de control de aproximadamente 20GB, utilizando precisiones mixtas NVFP4 y MXFP8. Este tamaño compacto permite la inferencia local en hardware compatible, incluyendo 1x NVIDIA DGX Spark, dispositivos de Apple silicon con 32GB o más de memoria (MacBooks, Mac minis, Studios) y otras GPU con un mínimo recomendado de 32GB o más de VRAM.
Inkling 2 Mini soporta la inferencia local a través de varios marcos, incluyendo Hugging Face, SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, Unsloth (incluyendo versiones cuantizadas GGUF), llama.cpp (para versiones cuantizadas GGUF), Llama App, Ollama y Exo Labs (en Apple silicon). También puede ser post-entrenado con Miles y SkyRL. El modelo presenta una arquitectura de transformador solo de decodificador de 24 capas con capas de avance escaso Mixture-of-Experts (MoE). Sus 12 capas intermedias se ejecutan tres veces con pesos compartidos, proporcionando efectivamente 48 aplicaciones de capa por token a partir de 24 capas de pesos. Cada capa dirige tokens a 8 de 128 expertos, y la atención es un híbrido de capas locales y globales. Las imágenes se codifican a través de un transformador de visión, con entradas de imagen y texto proyectadas en un espacio oculto compartido para el procesamiento conjunto por el decodificador. El modelo tiene 26.4 mil millones de parámetros, con 3.4 mil millones de parámetros activos, y soporta una ventana de contexto de hasta 1 millón de tokens.
Los datos de entrenamiento para Inkling 2 Mini abarcan una amplia variedad de tipos de contenido, incluyendo texto, imágenes y video, obtenidos de repositorios disponibles públicamente, adquisiciones de terceros, generación interna y aumento sintético. La curación de datos implica limpiar, procesar y modificar conjuntos de datos, incluyendo deduplicación y filtrado por calidad y seguridad. Se realizaron evaluaciones de seguridad, cubriendo la interacción cotidiana entre humanos e IA y pruebas de capacidades peligrosas, con mitigaciones aplicadas a través del entrenamiento de alineación. Las limitaciones del modelo incluyen la posible alucinación, fallos ocasionales en el seguimiento de instrucciones, rendimiento degradado en conversaciones largas y sesgos derivados de los datos de entrenamiento. Es menos capaz que modelos más grandes en recuerdo factual y preguntas que requieren mucho conocimiento, y puede exhibir razonamiento repetitivo o falta de fiabilidad agentica, especialmente en idiomas que no son inglés. Se aconseja a los desarrolladores aplicar supervisión humana, ejecutar cargas de trabajo agenticas en entornos controlados y realizar evaluaciones independientes antes de la implementación.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónSe ejecuta en local
- PlataformasWeb
Aspectos destacados de Inkling 2 Mini
Entrada Multimodal: Acepta tanto entradas de texto como de imagen para su procesamiento.
Generación de Salida de Texto: Produce salidas de texto basadas en entradas multimodales.
Modelo de Propósito General: Diseñado para una amplia gama de aplicaciones y tareas.
Soporte Multilingüe: Funciona en inglés y otros idiomas.
Soporte para Múltiples Lenguajes de Programación: Compatible en varios entornos de codificación.
Lanzamiento de Pesos Abiertos: Disponible para descarga y uso con pesos abiertos.
Licencia Apache 2.0: Proporciona flexibilidad para investigación, ajuste fino e integración.
Enfoque en Desarrolladores: Destinado a la creación de aplicaciones impulsadas por IA.
Soporte para Sistemas Agenticos: Adecuado para desarrollar sistemas agenticos y de uso de herramientas.
Capacidad de Asistente de Codificación: Puede ser utilizado para crear asistentes de codificación.
Integración de Chatbots: Facilita el desarrollo de chatbots.
Sistemas de Generación Aumentada por Recuperación (RAG): Soporta la creación de sistemas RAG.
Capacidad de Inferencia Local: Puede ejecutarse en computación local de IA con hardware especificado.
Amplio Soporte de Marcos: Compatible con Hugging Face, SGLang, vLLM y más.
Opciones de Post-Entrenamiento: Puede ser post-entrenado con Miles y SkyRL.
Gran Ventana de Contexto: Soporta hasta 1 millón de tokens.
Primeros pasos con Inkling 2 Mini
Descargar Pesos del Modelo: Accede y descarga los pesos de Inkling 2 Mini desde Hugging Face.
Acceso a través de la Plataforma Tinker: Utiliza la plataforma de ajuste fino Tinker para acceso a API e interacción con el modelo.
Instalar Renderizadores Tinker: Instala el paquete tml-renderers para la integración en la plataforma Tinker.
Configurar Hardware Local: Asegúrate de que el hardware requerido (por ejemplo, NVIDIA DGX Spark, Apple silicon con 32GB+ de memoria) esté disponible.
Instalar Marcos de Software: Configura marcos de inferencia local soportados como Hugging Face, SGLang o llama.cpp.
Ejecutar Inferencia: Ejecuta el modelo localmente utilizando los marcos elegidos para la generación de texto a partir de entradas de imagen y texto.
Casos de uso de Inkling 2 Mini
- Desarrollo de Aplicaciones de IA
- Creación de Sistemas Agenticos
- Herramientas de Asistente de Codificación
- Implementación de Chatbots
- Generación Aumentada por Recuperación
- IA Conversacional General
- Procesamiento de Lenguaje Natural
- Procesamiento de Tareas Visuales
- Ajuste Fino del Modelo
- Integración de Productos de Terceros







