Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

inferssd

inferssd — это проект с открытым исходным кодом на GitHub, предназначенный для запуска крупных AI моделей, превышающих емкость оперативной памяти или видеопамяти вашей системы. Это достигается за счет эффективной потоковой передачи компонентов Mixture-of-Experts (MoE) непосредственно из SSD. Построенный на основе фреймворка llama.cpp, inferssd позволяет локально выполнять сложные модели на более ограниченном оборудовании, делая мощный AI доступным без необходимости в значительных обновлениях памяти.

Открыть репозиторий
Поделиться
Открыть репозиторий
Поделиться

inferssd — это проект на GitHub, сосредоточенный на обеспечении выполнения крупных AI моделей, в частности тех, которые имеют архитектуры Mixture-of-Experts (MoE), даже когда их размер превышает доступную оперативную память или видеопамять. Основная инновация заключается в его способности потоково передавать экспертов MoE из SSD, эффективно используя диск в качестве расширения системной памяти.

Читать далее

Этот подход значительно снижает аппаратные требования для локального запуска сложных моделей, делая их доступными для более широкого круга пользователей и систем.

Проект построен на основе llama.cpp, высокопроизводительного движка вывода для крупных языковых моделей. Используя llama.cpp, inferssd получает выгоду от оптимизированной базы для выполнения моделей, одновременно расширяя свои возможности для обработки моделей, которые в противном случае были бы слишком большими для типичного потребительского оборудования. Это особенно ценно для исследователей, разработчиков и энтузиастов, которые хотят экспериментировать с крупными моделями или развертывать их без необходимости инвестировать в дорогие, высокоемкие графические процессоры или огромные объемы оперативной памяти.

Ключевые возможности включают эффективное управление памятью, которое приоритизирует потоковую передачу компонентов модели по мере необходимости, а не загрузку всей модели в оперативную память одновременно. Этот механизм динамической загрузки гарантирует, что только активные «эксперты» или сегменты модели находятся в оперативной/видеопамяти, минимизируя объем занимаемой памяти. Проект также демонстрирует продолжающееся развитие, недавние коммиты указывают на поддержку вывода SSD на Windows для ноутбуков и оптимизации для различных аппаратных конфигураций, включая графические процессоры с унифицированной памятью на macOS.

inferssd стремится демократизировать доступ к крупным AI моделям, преодолевая общие аппаратные ограничения. Его открытая природа поощряет вклад сообщества и дальнейшее развитие, способствуя инновациям в локальном AI выводе. Структура проекта, с отдельными компонентами «движка» и «фреймворка», предполагает модульный дизайн, который может облегчить будущие расширения и интеграции с различными архитектурами моделей или аппаратными платформами.

  • КатегорияMLOps и развёртывание моделей
  • Модель ценообразованияОткрытый код
  • РазвёртываниеНа своём сервере
  • ПлатформыWindows, macOS

  • Запуск моделей, превышающих объем оперативной или видеопамяти

  • Потоковая передача Mixture-of-Experts (MoE) из SSD

  • Построен на основе llama.cpp для эффективного вывода

  • Поддержка выполнения крупных AI моделей на ограниченном оборудовании

  • Оптимизированное управление памятью для моделей MoE

  • Обеспечивает локальный вывод без значительных обновлений памяти

  • Продолжающееся развитие с недавними коммитами

  • Поддержка вывода SSD на Windows для ноутбуков

  • Оптимизации для графических процессоров с унифицированной памятью (например, macOS)

  • Модульная архитектура «движка» и «фреймворка»

  • Лицензия Apache-2.0 для использования с открытым исходным кодом

  • Общедоступно на GitHub для сотрудничества

  1. Клонировать репозиторий: Используйте `git clone`, чтобы загрузить проект inferssd с GitHub на ваш локальный компьютер.

  2. Установить зависимости: Следуйте документации проекта (например, в `docs` или `README.md`), чтобы установить необходимые инструменты сборки и библиотеки, возможно, включая CMake и специфические компиляторы.

  3. Настроить сборку: Используйте CMake для настройки процесса сборки, указав вашу целевую платформу и любые желаемые параметры.

  4. Скомпилировать проект: Скомпилируйте исходный код, используя выбранную вами систему сборки (например, Make или Visual Studio), чтобы сгенерировать исполняемые файлы inferssd.

  5. Подготовить модели: Преобразуйте или получите модели MoE, совместимые с llama.cpp и механизмом потоковой передачи inferssd, убедившись, что они правильно отформатированы для вывода SSD.

  6. Выполнить вывод: Запустите скомпилированное приложение inferssd с вашими подготовленными моделями, позволяя ему потоково передавать экспертов из SSD для вывода.

  7. Мониторить производительность: Наблюдайте за использованием ресурсов и скоростью вывода, возможно, корректируя настройки для оптимальной производительности на вашем конкретном оборудовании.

  • Локальный вывод LLM
  • Развертывание моделей MoE
  • AI Исследования и Разработка
  • AI Приложения на краю
  • Экономичное прототипирование AI

Отзывы о inferssd

Загрузка...

Популярные ИИ-инструменты, похожие на inferssd

BigMoeOnEdge

AI-репозитории на GitHub

BigMoeOnEdge позволяет запускать модели MoE, превышающие объем вашей оперативной памяти, на различных устройствах, включая телефоны и ноутбуки. Он использует адаптивный…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Позволяет запускать модели MoE, превышающие объем вашей оперативной памяти, на различных устройствах, включая телефоны и ноутбуки. Он использует адаптивный…BigMoeOnEdge позволяет запускать модели MoE, превышающие объем вашей оперативной памяти, на различных устройствах, включая телефоны и ноутбуки. Он использует адаптивный…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

llama-modchip

AI-репозитории на GitHub

llama-modchip — это проект на GitHub, позволяющий пользователям запускать большие языковые модели, такие как 284B DeepSeek-V4-Flash и 30B MoEs, на чистом 64GB CPU без…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Проект на GitHub, позволяющий пользователям запускать большие языковые модели, такие как 284B DeepSeek-V4-Flash и 30B MoEs, на чистом 64GB CPU без…llama-modchip — это проект на GitHub, позволяющий пользователям запускать большие языковые модели, такие как 284B DeepSeek-V4-Flash и 30B MoEs, на чистом 64GB CPU без…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

vLLM

AI-репозитории на GitHub

vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

MLOps и развёртывание моделей

№23 в AI-репозитории на GitHub

Открыть инструмент

AI-репозитории на GitHub

Высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

РекомендованоMLOps и развёртывание моделей
№23 в AI-репозитории на GitHub

trnrt

AI-репозитории на GitHub

trnrt — это движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…

MLOps и развёртывание моделей

№160 в MLOps и развёртывание моделей

Открыть инструмент

AI-репозитории на GitHub

Движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…trnrt — это движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…

MLOps и развёртывание моделей
№160 в MLOps и развёртывание моделей

Soup

AI-репозитории на GitHub

Суп — это репозиторий на GitHub, который позволяет проводить тонкую настройку больших языковых моделей (LLM) с использованием одного файла YAML. Он использует потоковую передачу…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Суп — это репозиторий на GitHub, который позволяет проводить тонкую настройку больших языковых моделей (LLM) с использованием одного файла YAML. Он использует потоковую передачу…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

MNN

AI-репозитории на GitHub

MNN — это высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…MNN — это высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

LMDeploy

AI-репозитории на GitHub

LMDeploy — это набор инструментов, предназначенный для сжатия, развертывания и обслуживания больших языковых моделей (LLM). Он предоставляет разработчикам необходимые инструменты…

MLOps и развёртывание моделей

№57 в AI-репозитории на GitHub

Открыть инструмент

AI-репозитории на GitHub

Набор инструментов, предназначенный для сжатия, развертывания и обслуживания больших языковых моделей (LLM). Он предоставляет разработчикам необходимые инструменты…LMDeploy — это набор инструментов, предназначенный для сжатия, развертывания и обслуживания больших языковых моделей (LLM). Он предоставляет разработчикам необходимые инструменты…

MLOps и развёртывание моделей
№57 в AI-репозитории на GitHub

AirLLM

AI-репозитории на GitHub

AirLLM — это проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…

MLOps и развёртывание моделей

№72 в Машинное обучение и наука о данных

Открыть инструмент

AI-репозитории на GitHub

Проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…AirLLM — это проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…

MLOps и развёртывание моделей
№72 в Машинное обучение и наука о данных
1 из 8