Описание
smolmaxxing — это репозиторий с открытым исходным кодом на GitHub, посвященный расширению границ запуска больших языковых моделей (LLM) на самых маленьких возможных устройствах. Основная миссия проекта заключается в максимизации возможности развертывания и эффективного выполнения различных LLM на аппаратном обеспечении, которое обычно считается недостаточно мощным для таких задач, включая смартфоны, планшеты и смарт ТВ-боксы.
Читать далее
Репозиторий содержит обширную коллекцию ресурсов, включая бенчмарки, данные, документацию и инструменты. Он демонстрирует показатели производительности для различных LLM, таких как Qwen3-Next-80B-A3B и Qwen3.6-35B-A3B, работающих на конкретных устройствах, таких как телефон OnePlus или ТВ-бокс Xiaomi. Проект тщательно отслеживает производительность в токенах в секунду (tok/s), демонстрируя возможность запуска моделей с количеством параметров от 260K до 9B на этих компактных устройствах.
smolmaxxing предлагает структурированный подход к экспериментам, с выделенными директориями для активов, бенчмарков, данных и документации. Он включает патчи и инструменты для облегчения процесса оптимизации, а также скриншоты, иллюстрирующие прогресс проекта. Файл `README.md` служит центральным узлом, содержащим таблицу лучших моделей по классам размеров и ссылки на модели, размещенные на Hugging Face.
Этот проект идеально подходит для разработчиков, исследователей и энтузиастов, заинтересованных в краевом ИИ, машинном обучении на устройствах и оптимизации вывода LLM для низкопотребляющих сред. Он способствует сотрудничеству, с вкладом нескольких разработчиков, и включает руководство `CONTRIBUTING.md` для тех, кто хочет представить свои бенчмарки устройств или улучшения кода. Файл `LICENSE` указывает на лицензию MIT, способствуя открытому использованию и модификации.
- КатегорияMLOps и развёртывание моделей
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако, На своём сервере
- ПлатформыВеб
Основные функции smolmaxxing
Оптимизированный вывод LLM на небольших устройствах
Бенчмарки для различных LLM на разнообразном оборудовании
Поддержка моделей от 260K до 9B параметров
Отслеживание производительности (токены в секунду)
Документация для оптимизаций, специфичных для устройств
Инструменты и патчи для развертывания LLM
Таблица лучших моделей по производительности
Ссылки на модели Hugging Face
Вклад сообщества и формы для вопросов
Лицензия MIT для использования с открытым исходным кодом
Примеры для телефонов, iPad и ТВ-боксов
Репозиторий для текущих исследований и разработок
Начало работы с smolmaxxing
Клонировать репозиторий: Используйте `git clone`, чтобы получить проект smolmaxxing на ваш локальный компьютер.
Изучить документацию: Ознакомьтесь с директорией `docs/` и файлом `README.md` для обзора проекта, специфики устройств и инструкций по настройке.
Просмотреть бенчмарки: Изучите директории `bench/` и `data/`, чтобы понять существующую производительность LLM на различных небольших устройствах.
Установить зависимости: Определите и установите необходимые библиотеки или инструменты, требуемые для запуска LLM на вашем целевом устройстве.
Применить патчи/инструменты: Используйте предоставленные патчи и инструменты из директорий `patches/` и `tools/` для оптимизации выполнения LLM.
Запустить эксперименты: Следуйте рекомендациям в `EXPERIMENT.md`, чтобы провести собственные тесты вывода LLM на небольших устройствах.
Поделиться результатами: Используйте форму для вопросов `Submit your device` или `CONTRIBUTING.md`, чтобы поделиться своими результатами или улучшениями кода.
Варианты использования smolmaxxing
- Разработка краевого ИИ
- Вывод LLM на устройствах
- Бенчмаркинг производительности
- ИИ с ограниченными ресурсами
- ИИ для устройств IoT
- Мобильное ИИ-приложение








