Descrição
LiquidAI LFM2.5-2.6B faz parte da família LFM2.5, uma série de modelos híbridos elaborados para implantação em dispositivos. Baseando-se na arquitetura LFM2, apresenta uma janela de contexto de 128K e treinamento pós-agente, tornando-o competitivo com modelos quatro vezes maiores em uso de ferramentas, seguimento de instruções e tarefas agenticas de múltiplos passos.
Ler mais
O modelo possui capacidades de inferência eficientes, alcançando 220 tokens por segundo em um Apple M5 Max e 113 tokens por segundo em uma CPU AMD Ryzen, tudo dentro de um consumo de memória inferior a 2,5 GB. É um modelo de texto geral com 2,69 bilhões de parâmetros, 30 camadas e um tamanho de vocabulário de 128.000. O modelo suporta uma ampla gama de idiomas, incluindo inglês, árabe, chinês, francês e mais.
LFM2.5-2.6B está disponível em vários formatos, como o modelo base para ajuste fino, um formato quantizado para inferência em CPU e um formato ONNX Runtime para implantação multiplataforma. É otimizado para inferência rápida em Apple Silicon usando o framework MLX e suporta decodificação especulativa para saídas mais rápidas.
O modelo é recomendado para cargas de trabalho agenticas, uso de ferramentas, extração de dados e fluxos de trabalho de longo contexto, embora não seja ideal para codificação agentica e tarefas que exigem muito conhecimento. Suporta chamadas de função em fluxos de trabalho agenticos, permitindo uma integração perfeita em sistemas existentes. O ajuste fino é encorajado para alcançar resultados ótimos para casos de uso específicos.
LFM2.5-2.6B foi avaliado em comparação com outros modelos abaixo de 10B, demonstrando desempenho competitivo em várias métricas. Sua arquitetura eficiente permite uma inferência rápida em CPU e GPU, tornando-o adequado para uma ampla gama de aplicações.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem, Auto-hospedado
- PlataformasWeb, macOS, Windows
Destaques de LiquidAI LFM2.5-2.6B
Modelo híbrido para implantação em dispositivos
Janela de contexto de 128K
Treinamento pós-agente
Inferência eficiente
2,69 bilhões de parâmetros
Suporta múltiplas línguas
Disponível em vários formatos
Otimizado para Apple Silicon
Primeiros passos com LiquidAI LFM2.5-2.6B
Acesse a página do modelo: Visite o site do Hugging Face
Autentique-se: Faça login na sua conta do Hugging Face
Configure: Configure o modelo para seu caso de uso específico
Envie prompts: Use o modelo para inferência ou fluxos de trabalho agenticos
Casos de uso de LiquidAI LFM2.5-2.6B
- Fluxos de Trabalho Agenticos
- Extração de Dados
- Uso de Ferramentas
- Tarefas de Longo Contexto
- Implantação Multiplataforma
