Descrição
DeepSeek-V3 é um grande modelo de linguagem lançado pela DeepSeek AI como uma arquitetura Mixture-of-Experts (MoE): 671 bilhões de parâmetros no total, com apenas 37 bilhões ativados para qualquer token dado, o que mantém a inferência mais barata do que executar a contagem total de parâmetros em cada solicitação. Ele se baseia na arquitetura introduzida no DeepSeek-V2, mantendo a Atenção Latente Multi-cabeça e o design DeepSeekMoE, e adiciona uma estratégia de balanceamento de carga sem perda auxiliar entre os especialistas, que a equipe afirma reduzir o custo de desempenho que geralmente vem com o balanceamento de carga.
Ler mais
O treinamento utilizou 14,8 trilhões de tokens de dados de pré-treinamento, seguido por estágios de ajuste fino supervisionado e aprendizado por reforço. A DeepSeek relata que a execução completa do pré-treinamento custou cerca de 2,664 milhões de horas de GPU H800, com os estágios de treinamento posteriores adicionando apenas cerca de 0,1 milhão a mais, totalizando aproximadamente 2,788 milhões de horas de GPU, e descreve o processo de treinamento como estável, sem picos de perda irrecuperáveis ou retrocessos. Parte dessa eficiência vem de um framework de treinamento de precisão mista FP8 que a equipe validou em grande escala, juntamente com trabalho de engenharia para reduzir a sobrecarga de comunicação entre os nós de GPU durante o treinamento Mixture-of-Experts. Um passo separado de destilação pós-treinamento extrai o comportamento de raciocínio do DeepSeek-R1, um modelo de cadeia longa de pensamento na linha de produtos da DeepSeek, para o DeepSeek-V3, visando melhorar seu raciocínio enquanto mantém seu estilo de saída controlado.
DeepSeek-V3 suporta um comprimento de contexto de 128K e, nos benchmarks publicados pela DeepSeek, apresenta desempenho comparável a modelos fechados líderes, enquanto supera outros modelos de código aberto com os quais é comparado. O modelo e seu ponto de verificação base, DeepSeek-V3-Base, estão ambos disponíveis para download no Hugging Face.
Para quem não deseja auto-hospedar, a DeepSeek opera um site de chat onde o modelo pode ser usado diretamente. Para auto-hospedagem, o DeepSeek-V3 é suportado por vários motores de inferência de código aberto, incluindo SGLang, vLLM, LMDeploy e TensorRT-LLM, com SGLang também permitindo a implantação em GPUs AMD. Executar o script de inferência de demonstração localmente requer um sistema Linux com Python 3.10 (Mac e Windows não são suportados para esse caminho) e, para o modelo completo, memória GPU combinada suficiente em várias máquinas para suportar 671 bilhões de parâmetros. O código é lançado sob a licença MIT, enquanto os pesos do modelo possuem um acordo de licença de modelo separado. Este é um modelo para desenvolvedores e pesquisadores com a infraestrutura para servir um grande modelo de peso aberto, não um aplicativo de consumo plug-and-play.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoAuto-hospedado
- PlataformasLinux
Recursos principais de DeepSeek-V3
Modelo Mixture-of-Experts de 671B parâmetros com 37B parâmetros ativados por token
Atenção Latente Multi-cabeça e arquitetura DeepSeekMoE mantidas e refinadas do DeepSeek-V2
Estratégia de balanceamento de carga sem perda auxiliar entre especialistas
Objetivo de treinamento de previsão multi-token, também utilizável para decodificação especulativa na inferência
Framework de treinamento de precisão mista FP8 validado em grande escala
Comprimento de contexto de 128K
Destilação pós-treinamento do comportamento de raciocínio do DeepSeek-R1 para o modelo base
Suportado por principais motores de inferência de código aberto: SGLang, vLLM, LMDeploy e TensorRT-LLM, além de GPUs AMD via SGLang
Primeiros passos com DeepSeek-V3
Experimente online: Converse com o DeepSeek-V3 no site de chat da DeepSeek sem instalar nada
Baixe os pesos: Obtenha DeepSeek-V3 ou DeepSeek-V3-Base do Hugging Face
Escolha um motor de inferência: Escolha SGLang, vLLM, LMDeploy ou TensorRT-LLM com base no seu hardware
Converta os pesos se necessário: Execute o script de conversão fornecido para o caminho de inferência de demonstração
Execute o modelo: Inicie a inferência em GPUs suficientes e, para o modelo completo, em vários nós
Casos de uso de DeepSeek-V3
- Implantação de LLM auto-hospedada
- Pesquisa em arquitetura MoE
- Serviço de inferência de alto rendimento
