Descripción
LiquidAI LFM2.5-2.6B es parte de la familia LFM2.5, una serie de modelos híbridos diseñados para implementación en dispositivos. Basado en la arquitectura LFM2, cuenta con una ventana de contexto de 128K y entrenamiento post-agentico, lo que lo hace competitivo con modelos cuatro veces más grandes en el uso de herramientas, seguimiento de instrucciones y tareas agenticas de múltiples pasos.
Leer más
El modelo cuenta con capacidades de inferencia eficientes, logrando 220 tokens por segundo en un Apple M5 Max y 113 tokens por segundo en un CPU AMD Ryzen, todo dentro de un uso de memoria de menos de 2.5 GB. Es un modelo de texto general con 2.69 mil millones de parámetros, 30 capas y un tamaño de vocabulario de 128,000. El modelo soporta una amplia gama de idiomas, incluyendo inglés, árabe, chino, francés y más.
LFM2.5-2.6B está disponible en varios formatos, como el modelo base para ajuste fino, un formato cuantizado para inferencia en CPU y un formato ONNX Runtime para implementación multiplataforma. Está optimizado para una inferencia rápida en Apple Silicon utilizando el marco MLX y soporta decodificación especulativa para salidas más rápidas.
El modelo es recomendado para cargas de trabajo agenticas, uso de herramientas, extracción de datos y flujos de trabajo de contexto largo, aunque no es ideal para codificación agentica y tareas que requieren mucho conocimiento. Soporta llamadas a funciones en flujos de trabajo agenticos, permitiendo una integración fluida en sistemas existentes. Se recomienda el ajuste fino para lograr resultados óptimos en casos de uso específicos.
LFM2.5-2.6B ha sido evaluado en comparación con otros modelos de menos de 10B, demostrando un rendimiento competitivo en varias métricas. Su arquitectura eficiente permite una inferencia rápida en CPU y GPU, haciéndolo adecuado para una amplia gama de aplicaciones.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube, Autoalojado
- PlataformasWeb, macOS, Windows
Aspectos destacados de LiquidAI LFM2.5-2.6B
Modelo híbrido para implementación en dispositivos
Ventana de contexto de 128K
Entrenamiento post-agentico
Inferencia eficiente
2.69 mil millones de parámetros
Soporta múltiples idiomas
Disponible en varios formatos
Optimizado para Apple Silicon
Primeros pasos con LiquidAI LFM2.5-2.6B
Acceder a la página del modelo: Visita el sitio web de Hugging Face
Autenticarse: Inicia sesión en tu cuenta de Hugging Face
Configurar: Configura el modelo para tu caso de uso específico
Enviar solicitudes: Utiliza el modelo para inferencia o flujos de trabajo agenticos
Casos de uso de LiquidAI LFM2.5-2.6B
- Flujos de Trabajo Agenticos
- Extracción de Datos
- Uso de Herramientas
- Tareas de Contexto Largo
- Implementación Multiplataforma
