Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

DeepSeek V3 JAX

DeepSeek V3 JAX — это реализация модели DeepSeek V3 с открытым исходным кодом, включая MLA, DeepSeekMoE, балансировку без aux-loss и MTP. Разработанный в 190 строках чистого JAX, этот проект демонстрирует, как обучать и генерировать выборки модели, даже на MacBook Air. Он предоставляет краткий и эффективный способ изучения архитектур продвинутых больших языковых моделей.

Открыть репозиторий
Поделиться
Открыть репозиторий
Поделиться

DeepSeek V3 JAX — это компактная и эффективная реализация архитектуры большой языковой модели DeepSeek V3 с открытым исходным кодом. Этот проект, разработанный Вайбхаавом Тивари, упрощает сложный дизайн DeepSeek V3, который включает такие функции, как многослойное внимание (MLA), DeepSeekMoE (смесь экспертов), балансировку без aux-loss и многозадачное предварительное обучение (MTP), в примерно 190 строках чистого кода на JAX.

Читать далее

Репозиторий предоставляет исчерпывающее руководство для понимания, обучения и генерации выборок модели DeepSeek V3. Он включает скрипты для определения модели, циклов обучения, подготовки данных и генерации выборок, что делает его доступным для исследователей и разработчиков, заинтересованных в экспериментировании с продвинутыми архитектурами LLM. Примечательным аспектом этой реализации является ее способность обучаться на MacBook Air, что подчеркивает ее эффективность и потенциал для локальной разработки и экспериментов.

Проект акцентирует внимание на ясности и лаконичности, предлагая минималистичный подход к реализации сложной модели. Он служит образовательным ресурсом для тех, кто хочет углубиться в специфику компонентов DeepSeek V3 и их реализации на JAX. Репозиторий также включает тесты для обеспечения корректности и предоставляет полное руководство по воспроизведению, включая проверенные числа и результаты, позволяя пользователям воспроизводить заявленную производительность.

Помимо основной реализации модели, DeepSeek V3 JAX также учитывает практические аспекты, такие как настройка ROCm (AMD GPU) для обучения на Linux, что указывает на его адаптивность к различным аппаратным средам. Включение подробного описания на vaibhaav.in/writing/deepseek-v3-jax предлагает дополнительные сведения о дизайнерских решениях и теоретических основах проекта, что делает его ценным ресурсом как для практического применения, так и для академического изучения.

  • КатегорияИИ-модели и LLM
  • Модель ценообразованияОткрытый код
  • РазвёртываниеНа своём сервере
  • ПлатформыmacOS, Linux

  • Реализация модели DeepSeek V3 на JAX

  • Включает многослойное внимание (MLA)

  • Интегрирует архитектуру DeepSeekMoE

  • Предоставляет балансировку без aux-loss

  • Поддерживает многозадачное предварительное обучение (MTP)

  • Лаконичная кодовая база (примерно 190 строк JAX)

  • Доказанное обучение на MacBook Air

  • Скрипты для модели, обучения, генерации выборок и подготовки данных

  • Включает тесты для проверки

  • Полное руководство по воспроизведению с проверенными результатами

  • Настройка ROCm (AMD GPU) для обучения на Linux

  • Лицензия MIT для использования с открытым исходным кодом

  1. Клонируйте репозиторий: получите файлы проекта с GitHub.

  2. Установите зависимости: используйте `requirements.txt` для настройки необходимых пакетов Python.

  3. Подготовьте данные: запустите `prepare_data.py`, чтобы подготовить ваш набор данных для обучения.

  4. Обучите модель: выполните `train.py`, чтобы начать процесс обучения модели.

  5. Сгенерируйте выборки: используйте `sample.py`, чтобы создать текст из обученной модели.

  6. Запустите тесты: проверьте корректность реализации с помощью `tests.py`.

  • Исследование архитектуры LLM
  • Эффективная реализация модели
  • Локальное обучение LLM
  • Практика разработки на JAX
  • Вклад в открытый код
  • Образовательный ресурс

Отзывы о DeepSeek V3 JAX

Загрузка...

Популярные ИИ-инструменты, похожие на DeepSeek V3 JAX

DeepSeek-V3

AI-репозитории на GitHub

DeepSeek-V3 — это языковая модель Mixture-of-Experts с открытыми весами от DeepSeek, содержащая 671 миллиард параметров и 37 миллиардов активированных на токен. Предварительно…

ИИ-модели и LLM
Открыть инструмент

AI-репозитории на GitHub

Языковая модель Mixture-of-Experts с открытыми весами от DeepSeek, содержащая 671 миллиард параметров и 37 миллиардов активированных на токен. Предварительно…DeepSeek-V3 — это языковая модель Mixture-of-Experts с открытыми весами от DeepSeek, содержащая 671 миллиард параметров и 37 миллиардов активированных на токен. Предварительно…

ИИ-модели и LLM
Топ-250: AI-репозитории на GitHub

DeepSeek-V3 — это языковая модель Mixture-of-Experts с 671 миллиардом параметров, разработанная для эффективного вывода и экономичного обучения. Она демонстрирует отличные…

ИИ-модели и LLM

№42 в LLM

Открыть инструмент

Языковая модель Mixture-of-Experts с 671 миллиардом параметров, разработанная для эффективного вывода и экономичного обучения. Она демонстрирует отличные…DeepSeek-V3 — это языковая модель Mixture-of-Experts с 671 миллиардом параметров, разработанная для эффективного вывода и экономичного обучения. Она демонстрирует отличные…

РекомендованоИИ-модели и LLM
№42 в LLM

OpenLLaMA

AI-репозитории на GitHub

OpenLLaMA — это модель LLaMA 7B от Meta AI с открытым исходным кодом и разрешительной лицензией. Обученная на наборе данных RedPajama, она предлагает версии с 3B, 7B и 13B…

ИИ-модели и LLM
Открыть инструмент

AI-репозитории на GitHub

Модель LLaMA 7B от Meta AI с открытым исходным кодом и разрешительной лицензией. Обученная на наборе данных RedPajama, она предлагает версии с 3B, 7B и 13B…OpenLLaMA — это модель LLaMA 7B от Meta AI с открытым исходным кодом и разрешительной лицензией. Обученная на наборе данных RedPajama, она предлагает версии с 3B, 7B и 13B…

ИИ-модели и LLM
Топ-250: AI-репозитории на GitHub

DeepSeek — это компания, занимающаяся исследованиями в области ИИ, которая стремится к разработке общего искусственного интеллекта. Она предлагает открытые фронтирные LLM, такие…

ИИ-модели и LLM

№2 в LLM

Открыть инструмент

Компания, занимающаяся исследованиями в области ИИ, которая стремится к разработке общего искусственного интеллекта. Она предлагает открытые фронтирные LLM, такие…DeepSeek — это компания, занимающаяся исследованиями в области ИИ, которая стремится к разработке общего искусственного интеллекта. Она предлагает открытые фронтирные LLM, такие…

РекомендованоИИ-модели и LLM
№2 в LLM

DeepSeek-R1

AI-репозитории на GitHub

DeepSeek-R1 — это проект на GitHub, сосредоточенный на решениях, основанных на ИИ. Он предлагает разнообразные репозитории, которые улучшают возможности ИИ, включая плагины,…

ИИ-модели и LLM
Открыть инструмент

AI-репозитории на GitHub

Проект на GitHub, сосредоточенный на решениях, основанных на ИИ. Он предлагает разнообразные репозитории, которые улучшают возможности ИИ, включая плагины,…DeepSeek-R1 — это проект на GitHub, сосредоточенный на решениях, основанных на ИИ. Он предлагает разнообразные репозитории, которые улучшают возможности ИИ, включая плагины,…

ИИ-модели и LLM
Топ-250: AI-репозитории на GitHub

FNet

AI-репозитории на GitHub

FNet — это эффективная архитектура кодировщика, подобная Transformer, которая заменяет самовнимание преобразованиями Фурье. Разработанная Google Research, она предлагает…

ИИ-модели и LLM
Открыть инструмент

AI-репозитории на GitHub

Эффективная архитектура кодировщика, подобная Transformer, которая заменяет самовнимание преобразованиями Фурье. Разработанная Google Research, она предлагает…FNet — это эффективная архитектура кодировщика, подобная Transformer, которая заменяет самовнимание преобразованиями Фурье. Разработанная Google Research, она предлагает…

ИИ-модели и LLM
Топ-250: AI-репозитории на GitHub

DeepSeek Online

AI-приложения

Бесплатная онлайн-демонстрация модели DeepSeek V3 с открытым исходным кодом (671 миллиард параметров), которая работает в вашем браузере без регистрации, а также ссылки для…

ИИ-модели и LLM
Открыть инструмент

AI-приложения

Бесплатная онлайн-демонстрация модели DeepSeek V3 с открытым исходным кодом (671 миллиард параметров), которая работает в вашем браузере без регистрации, а также ссылки для…

ИИ-модели и LLM
Топ-250: AI-приложения

LlamaFactory

AI-репозитории на GitHub

LlamaFactory — это репозиторий на GitHub, сосредоточенный на унифицированной и эффективной донастройке более 100 больших языковых моделей (LLM) и моделей языка и зрения (VLM). Он…

Платформы машинного обучения

№13 в AI-репозитории на GitHub

Открыть инструмент

AI-репозитории на GitHub

Репозиторий на GitHub, сосредоточенный на унифицированной и эффективной донастройке более 100 больших языковых моделей (LLM) и моделей языка и зрения (VLM). Он…LlamaFactory — это репозиторий на GitHub, сосредоточенный на унифицированной и эффективной донастройке более 100 больших языковых моделей (LLM) и моделей языка и зрения (VLM). Он…

РекомендованоПлатформы машинного обучения
№13 в AI-репозитории на GitHub
1 из 8