Inkling 2 Small

Lanzado con pesos abiertos, Inkling 2 Small fomenta la investigación, el ajuste fino y la integración en productos de terceros por parte de desarrolladores posteriores. Los usuarios pueden experimentar con el modelo en el Tinker Playground o acceder a él a través de la API utilizando el Tinker Cookbook. Para el ajuste fino con Tinker, se requiere el paquete tml-renderers. El modelo soporta inferencia local a través de varios marcos, incluyendo SGLang, vLLM, TokenSpeed y Unsloth. Además, puede ser post-entrenado con Miles, SkyRL y Snowflake Cortex Training. El acceso a la API también está disponible a través de proveedores de inferencia de terceros como NVIDIA, Fireworks, Together, Baseten, Nebius, Modal y Cloudflare.

Los requisitos de hardware para Inkling 2 Small dependen del formato del punto de control. El punto de control principal NVFP4 requiere un clúster de GPU con al menos 500GB de VRAM agregada, alcanzable con configuraciones como 2x GPUs NVIDIA B300 o 4x GPUs NVIDIA H200. El punto de control alternativo MXFP8 requiere al menos 800GB de VRAM agregada, cumplido por 4x GPUs NVIDIA B300 o 8x GPUs NVIDIA H200. Se recomienda el punto de control NVFP4 para todos los casos de uso, ya que es la precisión nativa para el modelo, ofreciendo un rendimiento óptimo.

Arquitectónicamente, Inkling 2 Small es un transformador autoregresivo multimodal. Presenta un transformador de solo decodificador de 48 capas con una columna vertebral de avance disperso Mixture-of-Experts (MoE), donde cada token es dirigido a 8 de 384 expertos. Su mecanismo de atención combina capas locales y globales. El modelo es nativamente multimodal, codificando imágenes a través de un transformador de visión y proyectando tanto entradas de imagen como de texto en un espacio oculto compartido para el procesamiento conjunto por el decodificador. Soporta una ventana de contexto de hasta 1 millón de tokens y acepta texto en codificación UTF-8 y formatos de imagen basados en píxeles (idealmente entre 40px y 4096px por dimensión). Las salidas se generan como texto codificado en UTF-8.

Los datos de entrenamiento para Inkling 2 Small incluyen una amplia gama de tipos de contenido, como texto, imágenes y video, obtenidos de repositorios disponibles públicamente, terceros, generación interna y aumento sintético. El proceso de curación de datos implica limpiar, procesar y modificar conjuntos de datos, incluyendo deduplicación y filtrado por calidad y seguridad. Se realizaron evaluaciones de seguridad en interacciones cotidianas entre humanos e IA y pruebas de capacidades peligrosas, aplicándose mitigaciones para reducir riesgos. El conocimiento del modelo está limitado a su corte de entrenamiento, y se aconseja a los usuarios aplicar supervisión humana para aplicaciones de alto riesgo debido a posibles limitaciones como alucinaciones y sesgos de los datos de entrenamiento.