Inkling 2 Small

Lançado com pesos abertos, Inkling 2 Small incentiva pesquisa, ajuste fino e integração em produtos de terceiros por desenvolvedores downstream. Os usuários podem experimentar o modelo no Tinker Playground ou acessá-lo via API usando o Tinker Cookbook. Para ajuste fino com Tinker, é necessário o pacote tml-renderers. O modelo suporta inferência local através de várias estruturas, incluindo SGLang, vLLM, TokenSpeed e Unsloth. Além disso, pode ser pós-treinado com Miles, SkyRL e Snowflake Cortex Training. O acesso à API também está disponível através de provedores de inferência de terceiros como NVIDIA, Fireworks, Together, Baseten, Nebius, Modal e Cloudflare.

Os requisitos de hardware para Inkling 2 Small dependem do formato do checkpoint. O checkpoint principal NVFP4 necessita de um cluster de GPU com pelo menos 500GB de VRAM agregada, alcançável com configurações como 2x GPUs NVIDIA B300 ou 4x GPUs NVIDIA H200. O checkpoint alternativo MXFP8 requer pelo menos 800GB de VRAM agregada, atendido por 4x GPUs NVIDIA B300 ou 8x GPUs NVIDIA H200. O checkpoint NVFP4 é recomendado para todos os casos de uso, pois é a precisão nativa do modelo, oferecendo desempenho ideal.

Arquitetonicamente, Inkling 2 Small é um transformador autoregressivo multimodal. Ele apresenta um transformador decodificador de 48 camadas com uma espinha dorsal de feed-forward Mixture-of-Experts (MoE) esparsa, onde cada token é direcionado a 8 dos 384 especialistas. Seu mecanismo de atenção combina camadas locais e globais. O modelo é nativamente multimodal, codificando imagens via um transformador de visão e projetando tanto entradas de imagem quanto de texto em um espaço oculto compartilhado para processamento conjunto pelo decodificador. Ele suporta uma janela de contexto de até 1 milhão de tokens e aceita texto em codificação UTF-8 e formatos de imagem baseados em pixels (idealmente entre 40px e 4096px por dimensão). As saídas são geradas como texto codificado em UTF-8.

Os dados de treinamento para Inkling 2 Small incluem uma ampla gama de tipos de conteúdo, como texto, imagens e vídeo, provenientes de repositórios publicamente disponíveis, terceiros, geração interna e aumento sintético. O processo de curadoria de dados envolve limpeza, processamento e modificação de conjuntos de dados, incluindo deduplicação e filtragem por qualidade e segurança. Avaliações de segurança foram realizadas em interações cotidianas entre humanos e IA e testes de capacidades perigosas, com mitigação aplicada para reduzir riscos. O conhecimento do modelo é limitado ao seu corte de treinamento, e os usuários são aconselhados a aplicar supervisão humana para aplicações de alto risco devido a limitações potenciais, como alucinações e preconceitos dos dados de treinamento.