Descrição
Inkling 2 Mini é um modelo multimodal versátil projetado para processar entradas de texto e imagem, gerando posteriormente saídas de texto. Desenvolvido pela Thinking Machines Lab, Inc., este modelo é projetado para ampla aplicabilidade, suportando inglês e outros idiomas, bem como várias linguagens de programação. É particularmente adequado para desenvolvedores envolvidos na criação de aplicações impulsionadas por IA, incluindo sistemas agentes e de uso de ferramentas, assistentes de codificação, chatbots e sistemas de geração aumentada por recuperação (RAG). Além disso, é capaz de uso conversacional de propósito geral, seguindo instruções e realizando várias tarefas de linguagem natural e visual.
Ler mais
O modelo é lançado com pesos abertos sob uma licença Apache 2.0, incentivando pesquisa, ajuste fino e integração em produtos de terceiros por desenvolvedores downstream. É distribuído como um único ponto de verificação de aproximadamente 20GB, utilizando precisões mistas NVFP4 e MXFP8. Este tamanho compacto permite inferência local em hardware compatível, incluindo 1x NVIDIA DGX Spark, dispositivos Apple silicon com 32GB ou mais de memória (MacBooks, Mac minis, Studios) e outras GPUs com 32GB ou mais de VRAM recomendados.
Inkling 2 Mini suporta inferência local através de várias estruturas, incluindo Hugging Face, SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, Unsloth (incluindo versões quantizadas GGUF), llama.cpp (para versões quantizadas GGUF), Llama App, Ollama e Exo Labs (em Apple silicon). Também pode ser pós-treinado com Miles e SkyRL. O modelo apresenta uma arquitetura de transformador apenas de decodificador com 24 camadas e camadas de avanço esparsas Mixture-of-Experts (MoE). Suas 12 camadas centrais funcionam três vezes com pesos compartilhados, fornecendo efetivamente 48 aplicações de camadas por token a partir de 24 camadas de pesos. Cada camada roteia tokens para 8 de 128 especialistas, e a atenção é um híbrido de camadas locais e globais. As imagens são codificadas através de um transformador de visão, com entradas de imagem e texto projetadas em um espaço oculto compartilhado para processamento conjunto pelo decodificador. O modelo possui 26,4 bilhões de parâmetros, com 3,4 bilhões de parâmetros ativos, e suporta uma janela de contexto de até 1 milhão de tokens.
Os dados de treinamento para Inkling 2 Mini abrangem uma ampla gama de tipos de conteúdo, incluindo texto, imagens e vídeo, provenientes de repositórios publicamente disponíveis, aquisições de terceiros, geração interna e aumento sintético. A curadoria de dados envolve limpeza, processamento e modificação de conjuntos de dados, incluindo deduplicação e filtragem por qualidade e segurança. Avaliações de segurança foram realizadas, cobrindo interações cotidianas entre humanos e IA e testes de capacidades perigosas, com mitigação aplicada através de treinamento de alinhamento. As limitações do modelo incluem potencial alucinação, falhas ocasionais em seguir instruções, desempenho degradado em conversas longas e preconceitos dos dados de treinamento. É menos capaz do que modelos maiores em recordação factual e perguntas que exigem conhecimento, e pode apresentar raciocínio repetitivo ou falta de confiabilidade agente, especialmente em idiomas não ingleses. Os desenvolvedores são aconselhados a aplicar supervisão humana, executar cargas de trabalho agentes em sandboxes e realizar avaliações independentes antes da implantação.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoRoda localmente
- PlataformasWeb
Destaques de Inkling 2 Mini
Entrada Multimodal: Aceita entradas de texto e imagem para processamento.
Geração de Saída de Texto: Produz saídas de texto com base em entradas multimodais.
Modelo de Uso Geral: Projetado para uma ampla gama de aplicações e tarefas.
Suporte Multilíngue: Funciona em inglês e outros idiomas.
Suporte a Múltiplas Linguagens de Programação: Compatível com vários ambientes de codificação.
Liberação de Pesos Abertos: Disponível para download e uso com pesos abertos.
Licença Apache 2.0: Oferece flexibilidade para pesquisa, ajuste fino e integração.
Focado em Desenvolvedores: Destinado à construção de aplicações impulsionadas por IA.
Suporte a Sistemas Agentes: Adequado para desenvolver sistemas agentes e de uso de ferramentas.
Capacidade de Assistente de Codificação: Pode ser usado para criar assistentes de codificação.
Integração de Chatbots: Facilita o desenvolvimento de chatbots.
Sistemas de Geração Aumentada por Recuperação (RAG): Suporta a criação de sistemas RAG.
Capacidade de Inferência Local: Pode ser executado em computação local de IA com hardware especificado.
Suporte Extensivo a Estruturas: Compatível com Hugging Face, SGLang, vLLM e mais.
Opções de Pós-Treinamento: Pode ser pós-treinado com Miles e SkyRL.
Grande Janela de Contexto: Suporta até 1 milhão de tokens.
Primeiros passos com Inkling 2 Mini
Baixar Pesos do Modelo: Acesse e baixe os pesos do Inkling 2 Mini do Hugging Face.
Acessar via Plataforma Tinker: Utilize a plataforma de ajuste fino Tinker para acesso à API e interação com o modelo.
Instalar Renderizadores Tinker: Instale o pacote tml-renderers para integração com a plataforma Tinker.
Configurar Hardware Local: Certifique-se de que o hardware necessário (por exemplo, NVIDIA DGX Spark, Apple silicon com 32GB+ de memória) esteja disponível.
Instalar Estruturas de Software: Configure estruturas de inferência local suportadas como Hugging Face, SGLang ou llama.cpp.
Executar Inferência: Execute o modelo localmente usando as estruturas escolhidas para geração de texto a partir de entradas de imagem e texto.
Casos de uso de Inkling 2 Mini
- Desenvolvimento de Aplicações de IA
- Criação de Sistemas Agentes
- Ferramentas de Assistente de Codificação
- Implementação de Chatbots
- Geração Aumentada por Recuperação
- IA Conversacional Geral
- Processamento de Linguagem Natural
- Processamento de Tarefas Visuais
- Ajuste Fino do Modelo
- Integração de Produtos de Terceiros







