Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

smolmaxxing

smolmaxxing — это проект на GitHub, сосредоточенный на оптимизации выполнения различных больших языковых моделей (LLM) на устройствах с ограниченными ресурсами. Он предоставляет бенчмарки, инструменты и документацию для обеспечения эффективного вывода LLM на небольших устройствах, таких как телефоны, iPad и ТВ-боксы. Проект нацелен на максимизацию производительности и совместимости на различных аппаратных платформах, делая передний край ИИ доступным на повседневных гаджетах.

Открыть репозиторий
Поделиться
Открыть репозиторий
Поделиться

smolmaxxing — это репозиторий с открытым исходным кодом на GitHub, посвященный расширению границ запуска больших языковых моделей (LLM) на самых маленьких возможных устройствах. Основная миссия проекта заключается в максимизации возможности развертывания и эффективного выполнения различных LLM на аппаратном обеспечении, которое обычно считается недостаточно мощным для таких задач, включая смартфоны, планшеты и смарт ТВ-боксы.

Читать далее

Репозиторий содержит обширную коллекцию ресурсов, включая бенчмарки, данные, документацию и инструменты. Он демонстрирует показатели производительности для различных LLM, таких как Qwen3-Next-80B-A3B и Qwen3.6-35B-A3B, работающих на конкретных устройствах, таких как телефон OnePlus или ТВ-бокс Xiaomi. Проект тщательно отслеживает производительность в токенах в секунду (tok/s), демонстрируя возможность запуска моделей с количеством параметров от 260K до 9B на этих компактных устройствах.

smolmaxxing предлагает структурированный подход к экспериментам, с выделенными директориями для активов, бенчмарков, данных и документации. Он включает патчи и инструменты для облегчения процесса оптимизации, а также скриншоты, иллюстрирующие прогресс проекта. Файл `README.md` служит центральным узлом, содержащим таблицу лучших моделей по классам размеров и ссылки на модели, размещенные на Hugging Face.

Этот проект идеально подходит для разработчиков, исследователей и энтузиастов, заинтересованных в краевом ИИ, машинном обучении на устройствах и оптимизации вывода LLM для низкопотребляющих сред. Он способствует сотрудничеству, с вкладом нескольких разработчиков, и включает руководство `CONTRIBUTING.md` для тех, кто хочет представить свои бенчмарки устройств или улучшения кода. Файл `LICENSE` указывает на лицензию MIT, способствуя открытому использованию и модификации.

  • КатегорияMLOps и развёртывание моделей
  • Модель ценообразованияОткрытый код
  • РазвёртываниеОблако, На своём сервере
  • ПлатформыВеб

  • Оптимизированный вывод LLM на небольших устройствах

  • Бенчмарки для различных LLM на разнообразном оборудовании

  • Поддержка моделей от 260K до 9B параметров

  • Отслеживание производительности (токены в секунду)

  • Документация для оптимизаций, специфичных для устройств

  • Инструменты и патчи для развертывания LLM

  • Таблица лучших моделей по производительности

  • Ссылки на модели Hugging Face

  • Вклад сообщества и формы для вопросов

  • Лицензия MIT для использования с открытым исходным кодом

  • Примеры для телефонов, iPad и ТВ-боксов

  • Репозиторий для текущих исследований и разработок

  1. Клонировать репозиторий: Используйте `git clone`, чтобы получить проект smolmaxxing на ваш локальный компьютер.

  2. Изучить документацию: Ознакомьтесь с директорией `docs/` и файлом `README.md` для обзора проекта, специфики устройств и инструкций по настройке.

  3. Просмотреть бенчмарки: Изучите директории `bench/` и `data/`, чтобы понять существующую производительность LLM на различных небольших устройствах.

  4. Установить зависимости: Определите и установите необходимые библиотеки или инструменты, требуемые для запуска LLM на вашем целевом устройстве.

  5. Применить патчи/инструменты: Используйте предоставленные патчи и инструменты из директорий `patches/` и `tools/` для оптимизации выполнения LLM.

  6. Запустить эксперименты: Следуйте рекомендациям в `EXPERIMENT.md`, чтобы провести собственные тесты вывода LLM на небольших устройствах.

  7. Поделиться результатами: Используйте форму для вопросов `Submit your device` или `CONTRIBUTING.md`, чтобы поделиться своими результатами или улучшениями кода.

  • Разработка краевого ИИ
  • Вывод LLM на устройствах
  • Бенчмаркинг производительности
  • ИИ с ограниченными ресурсами
  • ИИ для устройств IoT
  • Мобильное ИИ-приложение

Отзывы о smolmaxxing

Загрузка...

Популярные ИИ-инструменты, похожие на smolmaxxing

MNN

AI-репозитории на GitHub

MNN — это высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…MNN — это высокопроизводительный, легковесный движок вывода, разработанный компанией Alibaba. Он предназначен для оптимизации LLM на устройствах и приложений Edge AI, обеспечивая…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

BigMoeOnEdge

AI-репозитории на GitHub

BigMoeOnEdge позволяет запускать модели MoE, превышающие объем вашей оперативной памяти, на различных устройствах, включая телефоны и ноутбуки. Он использует адаптивный…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Позволяет запускать модели MoE, превышающие объем вашей оперативной памяти, на различных устройствах, включая телефоны и ноутбуки. Он использует адаптивный…BigMoeOnEdge позволяет запускать модели MoE, превышающие объем вашей оперативной памяти, на различных устройствах, включая телефоны и ноутбуки. Он использует адаптивный…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

trnrt

AI-репозитории на GitHub

trnrt — это движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…

MLOps и развёртывание моделей

№160 в MLOps и развёртывание моделей

Открыть инструмент

AI-репозитории на GitHub

Движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…trnrt — это движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…

MLOps и развёртывание моделей
№160 в MLOps и развёртывание моделей

vLLM

AI-репозитории на GitHub

vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

MLOps и развёртывание моделей

№23 в AI-репозитории на GitHub

Открыть инструмент

AI-репозитории на GitHub

Высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

РекомендованоMLOps и развёртывание моделей
№23 в AI-репозитории на GitHub

llama-modchip

AI-репозитории на GitHub

llama-modchip — это проект на GitHub, позволяющий пользователям запускать большие языковые модели, такие как 284B DeepSeek-V4-Flash и 30B MoEs, на чистом 64GB CPU без…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Проект на GitHub, позволяющий пользователям запускать большие языковые модели, такие как 284B DeepSeek-V4-Flash и 30B MoEs, на чистом 64GB CPU без…llama-modchip — это проект на GitHub, позволяющий пользователям запускать большие языковые модели, такие как 284B DeepSeek-V4-Flash и 30B MoEs, на чистом 64GB CPU без…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

mlc-llm

AI-репозитории на GitHub

mlc-llm — это универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…mlc-llm — это универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

Soup

AI-репозитории на GitHub

Суп — это репозиторий на GitHub, который позволяет проводить тонкую настройку больших языковых моделей (LLM) с использованием одного файла YAML. Он использует потоковую передачу…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Суп — это репозиторий на GitHub, который позволяет проводить тонкую настройку больших языковых моделей (LLM) с использованием одного файла YAML. Он использует потоковую передачу…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

AirLLM

AI-репозитории на GitHub

AirLLM — это проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…

MLOps и развёртывание моделей

№73 в Машинное обучение и наука о данных

Открыть инструмент

AI-репозитории на GitHub

Проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…AirLLM — это проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…

MLOps и развёртывание моделей
№73 в Машинное обучение и наука о данных
1 из 8