Descripción
oMLX es un servidor de inferencia de vanguardia diseñado específicamente para macOS, aprovechando el poder de Apple Silicon. Construido sobre el marco MLX, ofrece una solución nativa para ejecutar modelos de lenguaje grande (LLMs) localmente en computadoras Mac. Una de sus características destacadas es el almacenamiento en caché KV en SSD paginado, que reduce drásticamente el tiempo hasta el primer token (TTFT) de 30-90 segundos a menos de 5 segundos. Esta mejora es particularmente beneficiosa para los agentes de codificación que invalidan frecuentemente la caché, ya que oMLX asegura que cada bloque de caché se persista en el SSD, permitiendo una rápida restauración desde el disco.
Leer más
El servidor es compatible con API populares como OpenAI y Anthropic, lo que lo convierte en una herramienta versátil para desarrolladores que trabajan con estas plataformas. Soporta el procesamiento por lotes continuo y proporciona una API de reemplazo para modelos como Claude Code, OpenClaw y Cursor, asegurando que las respuestas se entreguen en cuestión de segundos. Los benchmarks de rendimiento realizados en un M3 Ultra con 512GB de RAM demuestran un rendimiento impresionante y eficiencia de memoria en varios contextos y tamaños de lote.
oMLX está diseñado para desarrolladores y entusiastas de la IA que requieren una solución de IA local rápida y confiable en sus Macs. Elimina la necesidad de inferencia basada en la nube, reduciendo la latencia y la dependencia de servidores externos. La herramienta es de código abierto bajo la licencia Apache 2.0, con una fuerte presencia comunitaria, como lo demuestra su más de 23,000 estrellas en GitHub. Los usuarios pueden comenzar fácilmente descargando el DMG o instalando desde el código fuente, con compatibilidad para cachés estándar de Hugging Face y carpetas de LM Studio.
En general, oMLX ofrece una solución robusta y eficiente para ejecutar modelos de IA localmente en macOS, proporcionando mejoras significativas en velocidad e integración fluida con flujos de trabajo de IA existentes.
- CategoríaMLOps y despliegue de modelos
- Modelo de preciosCódigo abierto
- ImplementaciónLocal
- PlataformasmacOS 15+
Características principales de oMLX
Servidor de inferencia nativo de macOS
Almacenamiento en caché KV en SSD paginado
Compatibilidad con API de OpenAI y Anthropic
Soporte para procesamiento por lotes continuo
API de reemplazo para Claude Code, OpenClaw y Cursor
Rápida restauración de caché desde SSD
Código abierto bajo Apache 2.0
Más de 23,000 estrellas en GitHub
¿Cómo usar oMLX?
Descargar: Obtener el DMG o el código fuente
Instalar: Seguir las instrucciones de instalación
Configurar: Configurar con la caché de Hugging Face
Usar: Ejecutar modelos con TTFT reducido
Optimizar: Aprovechar el procesamiento por lotes continuo
Casos de uso de oMLX
- Desarrollo de IA Local
- Integración de API
- Agentes de Codificación
- Procesamiento por Lotes
- Contribución de Código Abierto
