Pular para o conteúdo principal
ToolPotion
Consultor de IA
Enviar

DeepSeek V3 JAX

DeepSeek V3 JAX é uma implementação de código aberto do modelo DeepSeek V3, incluindo MLA, DeepSeekMoE, balanceamento sem perda auxiliar e MTP. Desenvolvido em 190 linhas de código puro JAX, este projeto demonstra como treinar e amostrar o modelo, mesmo em um MacBook Air. Ele fornece uma maneira concisa e eficiente de explorar arquiteturas avançadas de modelos de linguagem de grande porte.

Ver repositório
Compartilhar
Ver repositório
Compartilhar

DeepSeek V3 JAX é uma implementação compacta e eficiente da arquitetura de modelo de linguagem de grande porte DeepSeek V3. Este projeto, desenvolvido por Vaibhaav Tiwari, destila o complexo design do DeepSeek V3, que incorpora recursos como Atenção em Múltiplas Camadas (MLA), DeepSeekMoE (Mistura de Especialistas), balanceamento sem perda auxiliar e Pré-treinamento Multi-Tarefa (MTP), em aproximadamente 190 linhas de código puro JAX.

Ler mais

O repositório fornece um guia abrangente para entender, treinar e amostrar o modelo DeepSeek V3. Inclui scripts para definição do modelo, loops de treinamento, preparação de dados e amostragem, tornando-o acessível para pesquisadores e desenvolvedores interessados em experimentar com arquiteturas avançadas de LLM. Um aspecto notável desta implementação é sua capacidade demonstrada de ser treinada em um MacBook Air, destacando sua eficiência e potencial para desenvolvimento e experimentação local.

O projeto enfatiza clareza e concisão, oferecendo uma abordagem minimalista para implementar um modelo sofisticado. Serve como um recurso educacional para aqueles que desejam se aprofundar nos detalhes dos componentes do DeepSeek V3 e sua implementação em JAX. O repositório também inclui testes para garantir a correção e fornece um guia completo de reprodução, com números e resultados verificados, permitindo que os usuários repliquem o desempenho relatado.

Além da implementação central do modelo, DeepSeek V3 JAX também aborda aspectos práticos, como a configuração do ROCm (GPU AMD) para treinamento em Linux, indicando sua adaptabilidade a diferentes ambientes de hardware. A inclusão de um artigo detalhado em vaibhaav.in/writing/deepseek-v3-jax oferece mais insights sobre as escolhas de design e os fundamentos teóricos do projeto, tornando-o um recurso valioso tanto para aplicação prática quanto para estudo acadêmico.

  • CategoriaModelos de IA e LLMs
  • Modelo de preçosCódigo aberto
  • ImplantaçãoAuto-hospedado
  • PlataformasmacOS, Linux

  • Implementação do modelo DeepSeek V3 em JAX

  • Inclui Atenção em Múltiplas Camadas (MLA)

  • Incorpora a arquitetura DeepSeekMoE

  • Apresenta balanceamento sem perda auxiliar

  • Suporta Pré-treinamento Multi-Tarefa (MTP)

  • Base de código concisa (aprox. 190 linhas de JAX)

  • Treinamento demonstrado em MacBook Air

  • Scripts para modelo, treinamento, amostragem e preparação de dados

  • Inclui testes para verificação

  • Guia completo de reprodução com resultados verificados

  • Configuração do ROCm (GPU AMD) para treinamento em Linux

  • Licença MIT para uso de código aberto

  1. Clone o repositório: Obtenha os arquivos do projeto do GitHub.

  2. Instale as dependências: Use `requirements.txt` para configurar os pacotes Python necessários.

  3. Prepare os dados: Execute `prepare_data.py` para preparar seu conjunto de dados para treinamento.

  4. Treine o modelo: Execute `train.py` para iniciar o processo de treinamento do modelo.

  5. Amostre saídas: Use `sample.py` para gerar texto a partir do modelo treinado.

  6. Execute testes: Verifique a correção da implementação com `tests.py`.

  • Pesquisa em Arquitetura de LLM
  • Implementação Eficiente de Modelos
  • Treinamento Local de LLM
  • Prática de Desenvolvimento em JAX
  • Contribuição em Código Aberto
  • Recurso Educacional

Avaliações de DeepSeek V3 JAX

Carregando...

Ferramentas de IA populares como DeepSeek V3 JAX

DeepSeek-V3

Repositórios de IA no GitHub

DeepSeek-V3 é um modelo de linguagem Mixture-of-Experts de peso aberto da DeepSeek, com 671 bilhões de parâmetros no total e 37 bilhões ativados por token. Pré-treinado em 14,8…

Modelos de IA e LLMs
Ver ferramenta

Repositórios de IA no GitHub

Modelo de linguagem Mixture-of-Experts de peso aberto da DeepSeek, com 671 bilhões de parâmetros no total e 37 bilhões ativados por token. Pré-treinado em 14,8…DeepSeek-V3 é um modelo de linguagem Mixture-of-Experts de peso aberto da DeepSeek, com 671 bilhões de parâmetros no total e 37 bilhões ativados por token. Pré-treinado em 14,8…

Modelos de IA e LLMs
Ver o Top 250 de Repositórios de IA no GitHub

DeepSeek-V3 é um modelo de linguagem Mixture-of-Experts com 671 bilhões de parâmetros, projetado para inferência eficiente e treinamento econômico. Ele se destaca em vários…

Modelos de IA e LLMs

Nº 42 em LLMs

Ver ferramenta

Modelo de linguagem Mixture-of-Experts com 671 bilhões de parâmetros, projetado para inferência eficiente e treinamento econômico. Ele se destaca em vários…DeepSeek-V3 é um modelo de linguagem Mixture-of-Experts com 671 bilhões de parâmetros, projetado para inferência eficiente e treinamento econômico. Ele se destaca em vários…

DestaqueModelos de IA e LLMs
Nº 42 em LLMs

OpenLLaMA

Repositórios de IA no GitHub

OpenLLaMA é uma reprodução de código aberto e licenciada permissivamente do modelo LLaMA 7B da Meta AI. Treinado no conjunto de dados RedPajama, oferece versões de 3B, 7B e 13B…

Modelos de IA e LLMs
Ver ferramenta

Repositórios de IA no GitHub

Reprodução de código aberto e licenciada permissivamente do modelo LLaMA 7B da Meta AI. Treinado no conjunto de dados RedPajama, oferece versões de 3B, 7B e 13B…OpenLLaMA é uma reprodução de código aberto e licenciada permissivamente do modelo LLaMA 7B da Meta AI. Treinado no conjunto de dados RedPajama, oferece versões de 3B, 7B e 13B…

Modelos de IA e LLMs
Ver o Top 250 de Repositórios de IA no GitHub

DeepSeek é uma empresa de pesquisa em IA dedicada ao desenvolvimento de inteligência artificial geral. Oferece LLMs de ponta de código aberto, como DeepSeek-V4, DeepSeek-R1 e…

Modelos de IA e LLMs

Nº 2 em LLMs

Ver ferramenta

Empresa de pesquisa em IA dedicada ao desenvolvimento de inteligência artificial geral. Oferece LLMs de ponta de código aberto, como DeepSeek-V4, DeepSeek-R1 e…DeepSeek é uma empresa de pesquisa em IA dedicada ao desenvolvimento de inteligência artificial geral. Oferece LLMs de ponta de código aberto, como DeepSeek-V4, DeepSeek-R1 e…

DestaqueModelos de IA e LLMs
Nº 2 em LLMs

DeepSeek-R1

Repositórios de IA no GitHub

DeepSeek-R1 é um projeto no GitHub focado em soluções impulsionadas por IA. Oferece uma variedade de repositórios que aprimoram as capacidades de IA, incluindo plugins, núcleos de…

Modelos de IA e LLMs
Ver ferramenta

Repositórios de IA no GitHub

Projeto no GitHub focado em soluções impulsionadas por IA. Oferece uma variedade de repositórios que aprimoram as capacidades de IA, incluindo plugins, núcleos de…DeepSeek-R1 é um projeto no GitHub focado em soluções impulsionadas por IA. Oferece uma variedade de repositórios que aprimoram as capacidades de IA, incluindo plugins, núcleos de…

Modelos de IA e LLMs
Ver o Top 250 de Repositórios de IA no GitHub

FNet

Repositórios de IA no GitHub

FNet é uma arquitetura de codificador eficiente semelhante a um Transformer que substitui a autoatenção por Transformadas de Fourier. Desenvolvido pelo Google Research, oferece…

Modelos de IA e LLMs
Ver ferramenta

Repositórios de IA no GitHub

Arquitetura de codificador eficiente semelhante a um Transformer que substitui a autoatenção por Transformadas de Fourier. Desenvolvido pelo Google Research, oferece…FNet é uma arquitetura de codificador eficiente semelhante a um Transformer que substitui a autoatenção por Transformadas de Fourier. Desenvolvido pelo Google Research, oferece…

Modelos de IA e LLMs
Ver o Top 250 de Repositórios de IA no GitHub

DeepSeek Online

Apps de IA

Uma demonstração online gratuita do modelo de código aberto DeepSeek V3 (671B parâmetros) que roda no seu navegador sem registro, além de links para executar o modelo localmente…

Modelos de IA e LLMs
Ver ferramenta

Apps de IA

Uma demonstração online gratuita do modelo de código aberto DeepSeek V3 (671B parâmetros) que roda no seu navegador sem registro, além de links para executar o modelo localmente…

Modelos de IA e LLMs
Ver o Top 250 de Apps de IA

LlamaFactory

Repositórios de IA no GitHub

LlamaFactory é um repositório do GitHub focado no ajuste fino unificado e eficiente de mais de 100 modelos de linguagem de grande porte (LLMs) e modelos de linguagem-visual…

Plataformas de machine learning

Nº 13 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Repositório do GitHub focado no ajuste fino unificado e eficiente de mais de 100 modelos de linguagem de grande porte (LLMs) e modelos de linguagem-visual…LlamaFactory é um repositório do GitHub focado no ajuste fino unificado e eficiente de mais de 100 modelos de linguagem de grande porte (LLMs) e modelos de linguagem-visual…

DestaquePlataformas de machine learning
Nº 13 em Repositórios de IA no GitHub
1 de 8