Descrição
Inkling é um modelo de IA multimodal de propósito geral desenvolvido pela Thinking Machines Lab, Inc. Possui um total de 975 bilhões de parâmetros, com 41 bilhões de parâmetros ativos, e é projetado para aceitar entradas de texto, imagem e áudio, gerando saídas de texto. O modelo é destinado ao uso em inglês e outros idiomas, tornando-o versátil para várias aplicações. Os desenvolvedores podem utilizar o Inkling para construir aplicações impulsionadas por IA, incluindo sistemas de uso de ferramentas e agentes, assistentes de codificação, chatbots e sistemas de geração aumentada por recuperação. Seu design suporta uso conversacional de propósito geral, seguimento de instruções e outras tarefas de linguagem natural e multimodais.
A arquitetura do Inkling é baseada em um transformador decodificador de 66 camadas com uma estrutura de Mixture-of-Experts (MoE) esparsa. Cada token é direcionado a seis dos 256 especialistas, com dois especialistas compartilhados ativos em cada token. O modelo é nativamente multimodal, codificando imagens através de um codificador hierárquico de patches e áudio por meio de codificação de tokens discretos. Todas as modalidades são projetadas em um espaço oculto compartilhado e processadas conjuntamente pelo decodificador. Inkling suporta uma janela de contexto de até 1 milhão de tokens, tornando-o capaz de lidar com extensos dados de entrada.
Inkling está disponível através de acesso à API via Tinker, o serviço para fine-tuning, e através de provedores de inferência de terceiros. Os pesos do modelo podem ser baixados do Hugging Face. Para desempenho ideal, configurações de hardware específicas são necessárias, incluindo clusters de GPU com VRAM substancial. O modelo passou por extensas avaliações de segurança para mitigar riscos associados a interações multimodais, garantindo que não apresente aumento material além dos modelos de pesos abertos existentes. No entanto, os usuários são aconselhados a implementar salvaguardas adicionais e supervisão humana ao implantar o Inkling em contextos de alto risco.
Destaques de Cartão do Modelo Inkling
Tipo de Modelo: Transformador autoregressivo multimodal
API Disponível: Sim
Licença: Apache 2.0
Parâmetros: 975B total, 41B ativos
Suporte a Fine-tuning: Sim
Multimodal: Sim
Suporte a Números: BF16, MXFP8, NVFP4
Janela de Contexto: 1M tokens
Primeiros passos com Cartão do Modelo Inkling
Acessar modelo: Visite o serviço Tinker para acesso à API.
Autenticar: Configure sua conta e obtenha chaves de API.
Configurar ambiente: Certifique-se de que seu hardware atende aos requisitos do modelo.
Integrar via API: Use a documentação fornecida para integrar o Inkling em sua aplicação.
Otimizar: Realize o fine-tuning do modelo conforme necessário para seu caso de uso específico.
Casos de uso de Cartão do Modelo Inkling
- Chatbots
- Assistentes de Codificação
- Aplicações Multimodais
- Seguimento de Instruções
- Geração Aumentada por Recuperação
