Описание
inferssd — это проект на GitHub, сосредоточенный на обеспечении выполнения крупных AI моделей, в частности тех, которые имеют архитектуры Mixture-of-Experts (MoE), даже когда их размер превышает доступную оперативную память или видеопамять. Основная инновация заключается в его способности потоково передавать экспертов MoE из SSD, эффективно используя диск в качестве расширения системной памяти.
Читать далее
Этот подход значительно снижает аппаратные требования для локального запуска сложных моделей, делая их доступными для более широкого круга пользователей и систем.
Проект построен на основе llama.cpp, высокопроизводительного движка вывода для крупных языковых моделей. Используя llama.cpp, inferssd получает выгоду от оптимизированной базы для выполнения моделей, одновременно расширяя свои возможности для обработки моделей, которые в противном случае были бы слишком большими для типичного потребительского оборудования. Это особенно ценно для исследователей, разработчиков и энтузиастов, которые хотят экспериментировать с крупными моделями или развертывать их без необходимости инвестировать в дорогие, высокоемкие графические процессоры или огромные объемы оперативной памяти.
Ключевые возможности включают эффективное управление памятью, которое приоритизирует потоковую передачу компонентов модели по мере необходимости, а не загрузку всей модели в оперативную память одновременно. Этот механизм динамической загрузки гарантирует, что только активные «эксперты» или сегменты модели находятся в оперативной/видеопамяти, минимизируя объем занимаемой памяти. Проект также демонстрирует продолжающееся развитие, недавние коммиты указывают на поддержку вывода SSD на Windows для ноутбуков и оптимизации для различных аппаратных конфигураций, включая графические процессоры с унифицированной памятью на macOS.
inferssd стремится демократизировать доступ к крупным AI моделям, преодолевая общие аппаратные ограничения. Его открытая природа поощряет вклад сообщества и дальнейшее развитие, способствуя инновациям в локальном AI выводе. Структура проекта, с отдельными компонентами «движка» и «фреймворка», предполагает модульный дизайн, который может облегчить будущие расширения и интеграции с различными архитектурами моделей или аппаратными платформами.
- КатегорияMLOps и развёртывание моделей
- Модель ценообразованияОткрытый код
- РазвёртываниеНа своём сервере
- ПлатформыWindows, macOS
Основные функции inferssd
Запуск моделей, превышающих объем оперативной или видеопамяти
Потоковая передача Mixture-of-Experts (MoE) из SSD
Построен на основе llama.cpp для эффективного вывода
Поддержка выполнения крупных AI моделей на ограниченном оборудовании
Оптимизированное управление памятью для моделей MoE
Обеспечивает локальный вывод без значительных обновлений памяти
Продолжающееся развитие с недавними коммитами
Поддержка вывода SSD на Windows для ноутбуков
Оптимизации для графических процессоров с унифицированной памятью (например, macOS)
Модульная архитектура «движка» и «фреймворка»
Лицензия Apache-2.0 для использования с открытым исходным кодом
Общедоступно на GitHub для сотрудничества
Начало работы с inferssd
Клонировать репозиторий: Используйте `git clone`, чтобы загрузить проект inferssd с GitHub на ваш локальный компьютер.
Установить зависимости: Следуйте документации проекта (например, в `docs` или `README.md`), чтобы установить необходимые инструменты сборки и библиотеки, возможно, включая CMake и специфические компиляторы.
Настроить сборку: Используйте CMake для настройки процесса сборки, указав вашу целевую платформу и любые желаемые параметры.
Скомпилировать проект: Скомпилируйте исходный код, используя выбранную вами систему сборки (например, Make или Visual Studio), чтобы сгенерировать исполняемые файлы inferssd.
Подготовить модели: Преобразуйте или получите модели MoE, совместимые с llama.cpp и механизмом потоковой передачи inferssd, убедившись, что они правильно отформатированы для вывода SSD.
Выполнить вывод: Запустите скомпилированное приложение inferssd с вашими подготовленными моделями, позволяя ему потоково передавать экспертов из SSD для вывода.
Мониторить производительность: Наблюдайте за использованием ресурсов и скоростью вывода, возможно, корректируя настройки для оптимальной производительности на вашем конкретном оборудовании.
Варианты использования inferssd
- Локальный вывод LLM
- Развертывание моделей MoE
- AI Исследования и Разработка
- AI Приложения на краю
- Экономичное прототипирование AI








