Описание
oMLX — это современный сервер вывода, разработанный специально для macOS, использующий мощность Apple Silicon. Построенный на основе фреймворка MLX, он предлагает нативное решение для запуска больших языковых моделей (LLM) локально на компьютерах Mac. Одной из его выдающихся особенностей является кэширование SSD KV с постраничным доступом, которое резко сокращает время до первого токена (TTFT) с типичных 30-90 секунд до менее 5 секунд. Это улучшение особенно полезно для кодирующих агентов, которые часто аннулируют кэш, так как oMLX гарантирует, что каждый блок кэша сохраняется на SSD, что позволяет быстро восстанавливать данные с диска.
Читать далее
Сервер совместим с популярными API, такими как OpenAI и Anthropic, что делает его универсальным инструментом для разработчиков, работающих с этими платформами. Он поддерживает непрерывную пакетную обработку и предоставляет API для моделей, таких как Claude Code, OpenClaw и Cursor, обеспечивая доставку ответов всего за несколько секунд. Производительные тесты, проведенные на M3 Ultra с 512 ГБ ОЗУ, демонстрируют впечатляющую пропускную способность и эффективность использования памяти в различных контекстах и размерах пакетов.
oMLX предназначен для разработчиков и энтузиастов ИИ, которым требуется надежное и быстрое локальное решение для ИИ на их Mac. Он устраняет необходимость в облачном выводе, снижая задержки и зависимость от внешних серверов. Инструмент является открытым исходным кодом под лицензией Apache 2.0, с активным сообществом, о чем свидетельствует более 23 000 звезд на GitHub. Пользователи могут легко начать работу, скачав DMG или установив из исходного кода, с совместимостью со стандартными кэшами Hugging Face и папками LM Studio.
В целом, oMLX предлагает надежное и эффективное решение для запуска ИИ моделей локально на macOS, обеспечивая значительные улучшения скорости и бесшовную интеграцию с существующими рабочими процессами ИИ.
- КатегорияMLOps и развёртывание моделей
- Модель ценообразованияОткрытый код
- РазвёртываниеЛокальный
- ПлатформыmacOS 15+
Основные функции oMLX
Нативный сервер вывода для macOS
Кэширование SSD KV с постраничным доступом
Совместимость с API OpenAI и Anthropic
Поддержка непрерывной пакетной обработки
API для Claude Code, OpenClaw и Cursor
Быстрое восстановление кэша с SSD
Открытый исходный код под лицензией Apache 2.0
Более 23 000 звезд на GitHub
Как использовать oMLX?
Скачать: Получите DMG или исходный код
Установить: Следуйте инструкциям по установке
Настроить: Настройте с кэшем Hugging Face
Использовать: Запускайте модели с сокращенным TTFT
Оптимизировать: Используйте непрерывную пакетную обработку
Варианты использования oMLX
- Локальная разработка ИИ
- Интеграция API
- Кодирующие агенты
- Пакетная обработка
- Вклад в открытый исходный код
