Saltar al contenido principal
ToolPotion
Asesor de IA
Enviar

DeepSeek V3 JAX

DeepSeek V3 JAX es una implementación de código abierto del modelo DeepSeek V3, que incluye MLA, DeepSeekMoE, balanceo sin pérdida auxiliar y MTP. Desarrollado en 190 líneas de código puro JAX, este proyecto demuestra cómo entrenar y muestrear el modelo, incluso en un MacBook Air. Proporciona una forma concisa y eficiente de explorar arquitecturas avanzadas de modelos de lenguaje grande.

Ver repositorio
Compartir
Ver repositorio
Compartir

DeepSeek V3 JAX es una implementación compacta y eficiente de código abierto de la arquitectura del modelo de lenguaje grande DeepSeek V3. Este proyecto, desarrollado por Vaibhaav Tiwari, destila el complejo diseño de DeepSeek V3, que incorpora características como Atención Multicapa (MLA), DeepSeekMoE (Mezcla de Expertos), balanceo sin pérdida auxiliar y Preentrenamiento Multitarea (MTP), en aproximadamente 190 líneas de código puro JAX.

Leer más

El repositorio proporciona una guía completa para entender, entrenar y muestrear el modelo DeepSeek V3. Incluye scripts para la definición del modelo, bucles de entrenamiento, preparación de datos y muestreo, lo que lo hace accesible para investigadores y desarrolladores interesados en experimentar con arquitecturas avanzadas de LLM. Un aspecto notable de esta implementación es su capacidad demostrada para ser entrenada en un MacBook Air, destacando su eficiencia y potencial para el desarrollo y la experimentación local.

El proyecto enfatiza la claridad y la concisión, ofreciendo un enfoque minimalista para implementar un modelo sofisticado. Sirve como un recurso educativo para aquellos que buscan profundizar en los detalles de los componentes de DeepSeek V3 y su implementación en JAX. El repositorio también incluye pruebas para asegurar la corrección y proporciona una guía completa de reproducción, con números y resultados verificados, permitiendo a los usuarios replicar el rendimiento reportado.

Más allá de la implementación central del modelo, DeepSeek V3 JAX también aborda aspectos prácticos como la configuración de ROCm (GPU AMD) para el entrenamiento en Linux, indicando su adaptabilidad a diferentes entornos de hardware. La inclusión de un informe detallado en vaibhaav.in/writing/deepseek-v3-jax ofrece más información sobre las decisiones de diseño y los fundamentos teóricos del proyecto, convirtiéndolo en un recurso valioso tanto para la aplicación práctica como para el estudio académico.

  • CategoríaModelos de IA y LLM
  • Modelo de preciosCódigo abierto
  • ImplementaciónAutoalojado
  • PlataformasmacOS, Linux

  • Implementación del modelo DeepSeek V3 en JAX

  • Incluye Atención Multicapa (MLA)

  • Incorpora la arquitectura DeepSeekMoE

  • Presenta balanceo sin pérdida auxiliar

  • Soporta Preentrenamiento Multitarea (MTP)

  • Código conciso (aprox. 190 líneas de JAX)

  • Entrenamiento demostrado en MacBook Air

  • Scripts para modelo, entrenamiento, muestreo y preparación de datos

  • Incluye pruebas para verificación

  • Guía completa de reproducción con resultados verificados

  • Configuración de ROCm (GPU AMD) para entrenamiento en Linux

  • Licencia MIT para uso de código abierto

  1. Clona el repositorio: Obtén los archivos del proyecto desde GitHub.

  2. Instala dependencias: Usa `requirements.txt` para configurar los paquetes de Python necesarios.

  3. Prepara los datos: Ejecuta `prepare_data.py` para preparar tu conjunto de datos para el entrenamiento.

  4. Entrena el modelo: Ejecuta `train.py` para iniciar el proceso de entrenamiento del modelo.

  5. Muestra salidas: Usa `sample.py` para generar texto a partir del modelo entrenado.

  6. Ejecuta pruebas: Verifica la corrección de la implementación con `tests.py`.

  • Investigación de Arquitectura de LLM
  • Implementación Eficiente de Modelos
  • Entrenamiento Local de LLM
  • Práctica de Desarrollo en JAX
  • Contribución de Código Abierto
  • Recurso Educativo

Reseñas de DeepSeek V3 JAX

Cargando...

Herramientas de IA populares como DeepSeek V3 JAX

DeepSeek-V3

Repositorios de IA en GitHub

DeepSeek-V3 es un modelo de lenguaje Mixture-of-Experts de peso abierto de DeepSeek, con un total de 671 mil millones de parámetros y 37 mil millones activados por token.…

Modelos de IA y LLM
Ver herramienta

Repositorios de IA en GitHub

Modelo de lenguaje Mixture-of-Experts de peso abierto de DeepSeek, con un total de 671 mil millones de parámetros y 37 mil millones activados por token.…DeepSeek-V3 es un modelo de lenguaje Mixture-of-Experts de peso abierto de DeepSeek, con un total de 671 mil millones de parámetros y 37 mil millones activados por token.…

Modelos de IA y LLM
Ver el Top 250 de Repositorios de IA en GitHub

DeepSeek-V3 es un modelo de lenguaje Mixture-of-Experts con 671 mil millones de parámetros, diseñado para una inferencia eficiente y un entrenamiento rentable. Destaca en varios…

Modelos de IA y LLM

N.º 39 en LLM

Ver herramienta

Modelo de lenguaje Mixture-of-Experts con 671 mil millones de parámetros, diseñado para una inferencia eficiente y un entrenamiento rentable. Destaca en varios…DeepSeek-V3 es un modelo de lenguaje Mixture-of-Experts con 671 mil millones de parámetros, diseñado para una inferencia eficiente y un entrenamiento rentable. Destaca en varios…

DestacadaModelos de IA y LLM
N.º 39 en LLM

OpenLLaMA

Repositorios de IA en GitHub

OpenLLaMA es una reproducción de código abierto y con licencia permisiva del modelo LLaMA 7B de Meta AI. Entrenado en el conjunto de datos RedPajama, ofrece versiones de 3B, 7B y…

Modelos de IA y LLM
Ver herramienta

Repositorios de IA en GitHub

Reproducción de código abierto y con licencia permisiva del modelo LLaMA 7B de Meta AI. Entrenado en el conjunto de datos RedPajama, ofrece versiones de 3B, 7B y…OpenLLaMA es una reproducción de código abierto y con licencia permisiva del modelo LLaMA 7B de Meta AI. Entrenado en el conjunto de datos RedPajama, ofrece versiones de 3B, 7B y…

Modelos de IA y LLM
Ver el Top 250 de Repositorios de IA en GitHub

DeepSeek es una empresa de investigación en IA dedicada al desarrollo de inteligencia artificial general. Ofrece LLMs de vanguardia de código abierto como DeepSeek-V4, DeepSeek-R1…

Modelos de IA y LLM

N.º 2 en LLM

Ver herramienta

Empresa de investigación en IA dedicada al desarrollo de inteligencia artificial general. Ofrece LLMs de vanguardia de código abierto como DeepSeek-V4, DeepSeek-R1…DeepSeek es una empresa de investigación en IA dedicada al desarrollo de inteligencia artificial general. Ofrece LLMs de vanguardia de código abierto como DeepSeek-V4, DeepSeek-R1…

DestacadaModelos de IA y LLM
N.º 2 en LLM

DeepSeek-R1

Repositorios de IA en GitHub

DeepSeek-R1 es un proyecto de GitHub centrado en soluciones impulsadas por IA. Ofrece una variedad de repositorios que mejoran las capacidades de IA, incluidos complementos,…

Modelos de IA y LLM
Ver herramienta

Repositorios de IA en GitHub

Proyecto de GitHub centrado en soluciones impulsadas por IA. Ofrece una variedad de repositorios que mejoran las capacidades de IA, incluidos complementos,…DeepSeek-R1 es un proyecto de GitHub centrado en soluciones impulsadas por IA. Ofrece una variedad de repositorios que mejoran las capacidades de IA, incluidos complementos,…

Modelos de IA y LLM
Ver el Top 250 de Repositorios de IA en GitHub

FNet

Repositorios de IA en GitHub

FNet es una arquitectura de codificador eficiente similar a Transformer que reemplaza la autoatención con Transformadas de Fourier. Desarrollado por Google Research, ofrece una…

Modelos de IA y LLM
Ver herramienta

Repositorios de IA en GitHub

Arquitectura de codificador eficiente similar a Transformer que reemplaza la autoatención con Transformadas de Fourier. Desarrollado por Google Research, ofrece una…FNet es una arquitectura de codificador eficiente similar a Transformer que reemplaza la autoatención con Transformadas de Fourier. Desarrollado por Google Research, ofrece una…

Modelos de IA y LLM
Ver el Top 250 de Repositorios de IA en GitHub

DeepSeek Online

Apps de IA

Una demostración en línea gratuita del modelo de código abierto DeepSeek V3 (671B parámetros) que se ejecuta en su navegador sin necesidad de registro, además de enlaces para…

Modelos de IA y LLM
Ver herramienta

Apps de IA

Una demostración en línea gratuita del modelo de código abierto DeepSeek V3 (671B parámetros) que se ejecuta en su navegador sin necesidad de registro, además de enlaces para…

Modelos de IA y LLM
Ver el Top 250 de Apps de IA

LlamaFactory

Repositorios de IA en GitHub

LlamaFactory es un repositorio de GitHub centrado en el ajuste fino unificado y eficiente de más de 100 modelos de lenguaje grande (LLMs) y modelos de lenguaje-visión (VLMs). Su…

Plataformas de aprendizaje automático

N.º 13 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Repositorio de GitHub centrado en el ajuste fino unificado y eficiente de más de 100 modelos de lenguaje grande (LLMs) y modelos de lenguaje-visión (VLMs). Su…LlamaFactory es un repositorio de GitHub centrado en el ajuste fino unificado y eficiente de más de 100 modelos de lenguaje grande (LLMs) y modelos de lenguaje-visión (VLMs). Su…

DestacadaPlataformas de aprendizaje automático
N.º 13 en Repositorios de IA en GitHub
1 de 8