Descrição
SmolLM3 é um modelo de linguagem com 3 bilhões de parâmetros desenvolvido para avançar as capacidades de modelos pequenos em inteligência artificial. Ele é projetado para suportar raciocínio em modo duplo e é multilíngue, suportando nativamente seis idiomas: inglês, francês, espanhol, alemão, italiano e português. O modelo é totalmente aberto, com pesos abertos e detalhes abrangentes de treinamento, incluindo misturas de dados públicos e configurações de treinamento.
A arquitetura do SmolLM3 é um transformador apenas de decodificação usando GQA e NoPE com uma proporção de 3:1. Ele foi pré-treinado em 11,2 trilhões de tokens usando um currículo em etapas que incluiu dados da web, código, matemática e raciocínio. O pós-treinamento envolveu um treinamento intermediário em 140 bilhões de tokens de raciocínio, seguido de ajuste fino supervisionado e alinhamento através da Otimização de Preferência Ancorada (APO).
SmolLM3 é otimizado para raciocínio híbrido e suporta processamento de contexto longo, treinado em um contexto de 64k e capaz de lidar com até 128k tokens usando extrapolação YARN. O modelo pode ser implantado usando vLLM e SGLang, compatível com APIs no formato OpenAI. Ele também suporta chamadas de ferramentas, permitindo a integração com várias ferramentas através de chamadas de função XML ou Python.
Para inferência local, o SmolLM3 pode ser usado com llama.cpp, ONNX, MLX, MLC e ExecuTorch. Checkpoints quantizados estão disponíveis para implantação eficiente. O desempenho do modelo foi avaliado em vários benchmarks, demonstrando resultados fortes em Q&A multilíngue, programação competitiva e tarefas de seguimento de instruções.
SmolLM3 é uma ferramenta valiosa para desenvolvedores e pesquisadores que buscam aproveitar a IA para tarefas multilíngues e de raciocínio complexo. No entanto, os usuários devem estar cientes de que o conteúdo gerado pode não ser sempre factualmente preciso ou livre de preconceitos presentes nos dados de treinamento.
Destaques de Modelo de Linguagem SmolLM3
Modelo de linguagem com 3 bilhões de parâmetros
Suporta raciocínio em modo duplo
Multilíngue: 6 idiomas
Processamento de contexto longo de até 128k tokens
Modelo aberto com pesos abertos
Modelo instruído otimizado para raciocínio híbrido
Suporte a chamadas de ferramentas
Compatível com vLLM e SGLang
Primeiros passos com Modelo de Linguagem SmolLM3
Acessar página: Visite a página do modelo Hugging Face
Carregar modelo: Use transformers v4.53.0 ou a versão mais recente do vllm
Configurar ambiente: Defina parâmetros de amostragem e comprimento do contexto
Integrar: Use chamadas de ferramentas com funções XML ou Python
Ajustar: Aplique ajuste fino supervisionado e alinhamento
Casos de uso de Modelo de Linguagem SmolLM3
- Q&A Multilíngue
- Raciocínio Híbrido
- Integração de Ferramentas
- Processamento de Contexto Longo
- Seguimento de Instruções
