Описание
DeepSeek-V3 — это большая языковая модель, выпущенная DeepSeek AI в архитектуре Mixture-of-Experts (MoE): всего 671 миллиард параметров, из которых только 37 миллиардов активированы для любого данного токена, что делает вывод более экономичным, чем запуск полного количества параметров при каждом запросе. Она основана на архитектуре, представленной в DeepSeek-V2, продолжая использовать Multi-head Latent Attention и дизайн DeepSeekMoE, и добавляет стратегию балансировки нагрузки без вспомогательных потерь, что, по словам команды, снижает стоимость производительности, которая обычно возникает при балансировке нагрузки.
Читать далее
Обучение использовало 14,8 триллионов токенов данных для предварительного обучения, за которым последовали этапы контролируемой дообучения и обучения с подкреплением. DeepSeek сообщает, что полная стоимость предварительного обучения составила около 2,664 миллиона часов GPU H800, при этом последующие этапы обучения добавили всего около 0,1 миллиона, что в сумме составляет примерно 2,788 миллиона часов GPU, и описывает процесс обучения как стабильный, без необратимых всплесков потерь или откатов. Часть этой эффективности достигается благодаря смешанной точности FP8, которую команда проверила на этом масштабе, а также инженерной работе по снижению накладных расходов на связь между узлами GPU во время обучения Mixture-of-Experts. Отдельный этап после обучения дистиллирует поведение рассуждений из DeepSeek-R1, модели длинной цепочки размышлений в линейке DeepSeek, в DeepSeek-V3, с целью улучшить его рассуждения, сохраняя при этом контролируемый стиль вывода.
DeepSeek-V3 поддерживает длину контекста 128K и, по данным бенчмарков, публикуемым DeepSeek, показывает сопоставимые результаты с ведущими закрытыми моделями, превосходя другие открытые модели, с которыми его сравнивают. Модель и ее базовая контрольная точка, DeepSeek-V3-Base, доступны для загрузки с Hugging Face.
Для тех, кто не хочет заниматься самостоятельным хостингом, DeepSeek управляет чат-сайтом, где модель можно использовать напрямую. Для самостоятельного хостинга DeepSeek-V3 поддерживается несколькими открытыми движками вывода, включая SGLang, vLLM, LMDeploy и TensorRT-LLM, при этом SGLang также позволяет развертывание на GPU AMD. Запуск демонстрационного скрипта вывода локально требует систему Linux с Python 3.10 (Mac и Windows не поддерживаются для этого пути) и, для полной модели, достаточно объединенной памяти GPU на нескольких машинах, чтобы удерживать 671 миллиард параметров. Код выпущен под лицензией MIT, в то время как веса модели имеют отдельное соглашение о лицензии модели. Это модель для разработчиков и исследователей с инфраструктурой для обслуживания большой модели с открытыми весами, а не потребительское приложение "подключи и работай".
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеНа своём сервере
- ПлатформыLinux
Основные функции DeepSeek-V3
Модель Mixture-of-Experts с 671B параметрами и 37B активированными на токен
Архитектура Multi-head Latent Attention и DeepSeekMoE, перенесенная и усовершенствованная из DeepSeek-V2
Стратегия балансировки нагрузки без вспомогательных потерь между экспертами
Цель обучения многотокенной предсказательной задачи, также используемая для спекулятивного декодирования при выводе
Смешанная точность FP8, проверенная на большом масштабе
Длина контекста 128K
Дистилляция поведения рассуждений из DeepSeek-R1 в базовую модель после обучения
Поддерживается основными открытыми движками вывода: SGLang, vLLM, LMDeploy и TensorRT-LLM, плюс GPU AMD через SGLang
Начало работы с DeepSeek-V3
Попробуйте онлайн: общайтесь с DeepSeek-V3 на чат-сайте DeepSeek без установки чего-либо
Скачайте веса: получите DeepSeek-V3 или DeepSeek-V3-Base с Hugging Face
Выберите движок вывода: выберите SGLang, vLLM, LMDeploy или TensorRT-LLM в зависимости от вашего оборудования
Конвертируйте веса при необходимости: запустите предоставленный скрипт конвертации для демонстрационного пути вывода
Запустите модель: запустите вывод на достаточном количестве GPU и, для полной модели, на нескольких узлах
Варианты использования DeepSeek-V3
- Развертывание LLM на собственном хостинге
- Исследование архитектуры MoE
- Обслуживание вывода с высокой пропускной способностью
