Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

llama-modchip

llama-modchip — это проект на GitHub, позволяющий пользователям запускать большие языковые модели, такие как 284B DeepSeek-V4-Flash и 30B MoEs, на чистом 64GB CPU без использования GPU. Он поддерживает высокие скорости обработки токенов в секунду и контекстное окно 256K, интегрируя передовые функции, такие как SwiGLU-H2 и восстановление кода Claude для эффективного и доступного развертывания и экспериментов с AI моделями.

Открыть репозиторий
Поделиться
Открыть репозиторий
Поделиться

llama-modchip — это проект с открытым исходным кодом на GitHub, разработанный для оптимизации выполнения больших языковых моделей (LLM) на обычном аппаратном обеспечении CPU, специально нацеленный на системы с 64GB оперативной памяти и без выделенных GPU. Проект демонстрирует возможность запуска моделей, таких как 284B DeepSeek-V4-Flash, с использованием менее 59GiB RAM, достигая впечатляющих показателей производительности, таких как 44.4 токена в секунду (pp) и 9.1-14.7 токенов в секунду в целом. Он также поддерживает модели 30B Mixture of Experts (MoE), обеспечивая скорости от 25 до 111 токенов в секунду.

Читать далее

Основная инновация llama-modchip заключается в его способности эффективно использовать ресурсы CPU, предоставляя экономичное и доступное решение для исследователей, разработчиков и энтузиастов, которые могут не иметь доступа к высококлассной GPU инфраструктуре. Это особенно важно для моделей, требующих большого контекстного окна, так как проект поддерживает до 256K контекста, что позволяет обрабатывать обширные разговорные или документальные данные.

Помимо сырой производительности, llama-modchip включает несколько передовых функций и оптимизаций. К ним относятся SwiGLU-H2, высокоэффективная функция активации, и Stockfish-PVS L3, что, вероятно, относится к оптимизированному алгоритму поиска или структуре данных, улучшая способности модели к рассуждению или обработке. Проект также подчеркивает функцию «восстановления кода Claude за 13 мс», что предполагает быструю восстановление или интеграцию функциональности, связанной с кодом, что потенциально улучшает рабочие процессы разработки или задачи генерации кода.

Структура репозитория указывает на продолжающееся развитие и акцент на различных аспектах развертывания и оптимизации моделей. Директории, такие как `apple-silicon`, предполагают специфические оптимизации для чипов M-серии от Apple, в то время как `benchmarks` и `docs` предоставляют данные о производительности и подробные объяснения. Наличие папок `patches` и `speculative` указывает на постоянное совершенствование и усилия по обеспечению безопасности. В целом, llama-modchip стремится расширить границы возможного с использованием только CPU для вывода LLM, делая передовые AI модели более доступными.

  • КатегорияMLOps и развёртывание моделей
  • Модель ценообразованияОткрытый код
  • РазвёртываниеНа своём сервере
  • ПлатформыLinux, Windows

  • Запуск 284B DeepSeek-V4-Flash на 64GB CPU

  • Достижение 44.4 токенов/с pp для DeepSeek-V4-Flash

  • Поддержка моделей 30B Mixture of Experts (MoE)

  • Работа с контекстным окном 256K на CPU

  • Использование оптимизации SwiGLU-H2

  • Интеграция Stockfish-PVS L3

  • Функция восстановления кода Claude за 13 мс

  • Оптимизировано для использования менее 59GiB RAM

  • Включает специфические оптимизации для Apple Silicon

  • Предоставляет подробные бенчмарки и документацию

  • Предлагает усиление безопасности и патчи

  • Поддерживает различные операционные системы (например, Fedora, Windows)

  1. Клонировать репозиторий: Используйте `git clone`, чтобы загрузить проект llama-modchip с GitHub.

  2. Просмотреть документацию: Ознакомьтесь с файлами `README.md`, `ARCHITECTURE.md` и `FAQ.md` для получения подробных инструкций по настройке и системным требованиям.

  3. Установить зависимости: Выполните скрипт `install.sh` или следуйте ручным инструкциям для настройки необходимых библиотек и инструментов.

  4. Настроить окружение: Настройте параметры для вашей конкретной архитектуры CPU и конфигурации RAM, как указано в документации.

  5. Запуск моделей: Следуйте предоставленным скриптам или командам для загрузки и выполнения моделей DeepSeek-V4-Flash или MoE.

  6. Мониторинг производительности: Используйте инструменты бенчмаркинга в репозитории для оценки скорости обработки токенов в секунду и использования ресурсов.

  • Вывод LLM только на CPU
  • Разработка AI с ограниченной памятью
  • Обработка с высоким контекстным окном
  • Эффективное развертывание моделей MoE
  • Исследования и эксперименты в AI
  • Генерация и восстановление кода

Отзывы о llama-modchip

Загрузка...

Популярные ИИ-инструменты, похожие на llama-modchip

BigMoeOnEdge

AI-репозитории на GitHub

BigMoeOnEdge позволяет запускать модели MoE, превышающие объем вашей оперативной памяти, на различных устройствах, включая телефоны и ноутбуки. Он использует адаптивный…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Позволяет запускать модели MoE, превышающие объем вашей оперативной памяти, на различных устройствах, включая телефоны и ноутбуки. Он использует адаптивный…BigMoeOnEdge позволяет запускать модели MoE, превышающие объем вашей оперативной памяти, на различных устройствах, включая телефоны и ноутбуки. Он использует адаптивный…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

Soup

AI-репозитории на GitHub

Суп — это репозиторий на GitHub, который позволяет проводить тонкую настройку больших языковых моделей (LLM) с использованием одного файла YAML. Он использует потоковую передачу…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Суп — это репозиторий на GitHub, который позволяет проводить тонкую настройку больших языковых моделей (LLM) с использованием одного файла YAML. Он использует потоковую передачу…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

vLLM

AI-репозитории на GitHub

vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

MLOps и развёртывание моделей

№23 в AI-репозитории на GitHub

Открыть инструмент

AI-репозитории на GitHub

Высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

РекомендованоMLOps и развёртывание моделей
№23 в AI-репозитории на GitHub

mlc-llm

AI-репозитории на GitHub

mlc-llm — это универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…mlc-llm — это универсальный движок развертывания LLM, который использует компиляцию машинного обучения для упрощения процесса развертывания. Он предназначен для повышения…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub

trnrt

AI-репозитории на GitHub

trnrt — это движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…

MLOps и развёртывание моделей

№160 в MLOps и развёртывание моделей

Открыть инструмент

AI-репозитории на GitHub

Движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…trnrt — это движок вывода LLM с открытым исходным кодом, разработанный для AWS Trainium, предлагающий мегакернелы NKI и поддерживающий контекст в 1 миллион токенов. Разработанный…

MLOps и развёртывание моделей
№160 в MLOps и развёртывание моделей

AirLLM

AI-репозитории на GitHub

AirLLM — это проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…

MLOps и развёртывание моделей

№72 в Машинное обучение и наука о данных

Открыть инструмент

AI-репозитории на GitHub

Проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…AirLLM — это проект на GitHub, который позволяет выполнять вывод с 70 миллиардами параметров, используя один GPU на 4 ГБ. Он разработан для оптимизации производительности больших…

MLOps и развёртывание моделей
№72 в Машинное обучение и наука о данных

LMDeploy

AI-репозитории на GitHub

LMDeploy — это набор инструментов, предназначенный для сжатия, развертывания и обслуживания больших языковых моделей (LLM). Он предоставляет разработчикам необходимые инструменты…

MLOps и развёртывание моделей

№57 в AI-репозитории на GitHub

Открыть инструмент

AI-репозитории на GitHub

Набор инструментов, предназначенный для сжатия, развертывания и обслуживания больших языковых моделей (LLM). Он предоставляет разработчикам необходимые инструменты…LMDeploy — это набор инструментов, предназначенный для сжатия, развертывания и обслуживания больших языковых моделей (LLM). Он предоставляет разработчикам необходимые инструменты…

MLOps и развёртывание моделей
№57 в AI-репозитории на GitHub

FlashInfer

AI-репозитории на GitHub

FlashInfer — это библиотека ядра, предназначенная для обслуживания больших языковых моделей (LLM). Она облегчает эффективное развертывание и управление LLM, позволяя разработчикам…

MLOps и развёртывание моделей
Открыть инструмент

AI-репозитории на GitHub

Библиотека ядра, предназначенная для обслуживания больших языковых моделей (LLM). Она облегчает эффективное развертывание и управление LLM, позволяя разработчикам…FlashInfer — это библиотека ядра, предназначенная для обслуживания больших языковых моделей (LLM). Она облегчает эффективное развертывание и управление LLM, позволяя разработчикам…

MLOps и развёртывание моделей
Топ-250: AI-репозитории на GitHub
1 из 8