Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

DeepSeek V3 JAX

Dépôts GitHub d'IAModèles d'IA et LLMOpen source · macOS, Linux

DeepSeek V3 JAX est une implémentation open-source du modèle DeepSeek V3, incluant MLA, DeepSeekMoE, équilibrage sans perte auxiliaire et MTP. Développé en 190 lignes de code JAX pur, ce projet démontre comment entraîner et échantillonner le modèle, même sur un MacBook Air. Il offre une manière concise et efficace d'explorer des architectures avancées de modèles de langage de grande taille.

Voir le dépôt
Partager
Voir le dépôt
Partager

DeepSeek V3 JAX est une implémentation open-source compacte et efficace de l'architecture de modèle de langage de grande taille DeepSeek V3. Ce projet, développé par Vaibhaav Tiwari, distille le design complexe de DeepSeek V3, qui intègre des fonctionnalités telles que l'Attention Multi-Couche (MLA), DeepSeekMoE (Mélange d'Experts), l'équilibrage sans perte auxiliaire et le Pré-entraînement Multi-Tâches (MTP), en environ 190 lignes de code JAX pur.

Lire la suite

Le dépôt fournit un guide complet pour comprendre, entraîner et échantillonner le modèle DeepSeek V3. Il inclut des scripts pour la définition du modèle, les boucles d'entraînement, la préparation des données et l'échantillonnage, le rendant accessible aux chercheurs et développeurs intéressés par l'expérimentation avec des architectures avancées de LLM. Un aspect notable de cette implémentation est sa capacité démontrée à être entraînée sur un MacBook Air, mettant en avant son efficacité et son potentiel pour le développement et l'expérimentation locaux.

Le projet met l'accent sur la clarté et la concision, offrant une approche minimaliste pour implémenter un modèle sophistiqué. Il sert de ressource éducative pour ceux qui souhaitent approfondir les spécificités des composants de DeepSeek V3 et leur implémentation en JAX. Le dépôt inclut également des tests pour garantir la correction et fournit un guide complet de reproduction, avec des chiffres et résultats vérifiés, permettant aux utilisateurs de reproduire les performances rapportées.

Au-delà de l'implémentation du modèle central, DeepSeek V3 JAX aborde également des aspects pratiques tels que la configuration ROCm (AMD GPU) pour l'entraînement sur Linux, indiquant son adaptabilité à différents environnements matériels. L'inclusion d'un article détaillé sur vaibhaav.in/writing/deepseek-v3-jax offre des aperçus supplémentaires sur les choix de conception et les fondements théoriques du projet, en faisant une ressource précieuse tant pour l'application pratique que pour l'étude académique.

  • CatégorieModèles d'IA et LLM
  • Modèle tarifaireOpen source
  • DéploiementAuto-hébergé
  • PlateformesmacOS, Linux

  • Implémentation du modèle DeepSeek V3 en JAX

  • Inclut l'Attention Multi-Couche (MLA)

  • Incorpore l'architecture DeepSeekMoE

  • Fonctionnalités d'équilibrage sans perte auxiliaire

  • Supporte le Pré-entraînement Multi-Tâches (MTP)

  • Codebase concise (environ 190 lignes de JAX)

  • Entraînement démontré sur MacBook Air

  • Scripts pour le modèle, l'entraînement, l'échantillonnage et la préparation des données

  • Inclut des tests pour vérification

  • Guide complet de reproduction avec résultats vérifiés

  • Configuration ROCm (AMD GPU) pour l'entraînement sur Linux

  • Licence MIT pour une utilisation open-source

  1. Clonez le dépôt : Obtenez les fichiers du projet depuis GitHub.

  2. Installez les dépendances : Utilisez `requirements.txt` pour configurer les packages Python nécessaires.

  3. Préparez les données : Exécutez `prepare_data.py` pour préparer votre ensemble de données pour l'entraînement.

  4. Entraînez le modèle : Exécutez `train.py` pour commencer le processus d'entraînement du modèle.

  5. Échantillonnez les sorties : Utilisez `sample.py` pour générer du texte à partir du modèle entraîné.

  6. Exécutez les tests : Vérifiez la correction de l'implémentation avec `tests.py`.

  • Recherche sur l'architecture LLM
  • Implémentation efficace de modèles
  • Entraînement local de LLM
  • Pratique du développement JAX
  • Contribution open-source
  • Ressource éducative

Avis sur DeepSeek V3 JAX

Chargement...

Outils IA populaires comme DeepSeek V3 JAX

DeepSeek-V3

Dépôts GitHub d'IA

DeepSeek-V3 est un modèle de langage Mixture-of-Experts à poids ouverts de DeepSeek, avec 671 milliards de paramètres au total et 37 milliards activés par token. Pré-entraîné sur…

Modèles d'IA et LLM
Voir l'outil

Dépôts GitHub d'IA

Modèle de langage Mixture-of-Experts à poids ouverts de DeepSeek, avec 671 milliards de paramètres au total et 37 milliards activés par token. Pré-entraîné sur…DeepSeek-V3 est un modèle de langage Mixture-of-Experts à poids ouverts de DeepSeek, avec 671 milliards de paramètres au total et 37 milliards activés par token. Pré-entraîné sur…

Modèles d'IA et LLM
Voir le Top 250 Dépôts GitHub d'IA

DeepSeek-V3 est un modèle de langage Mixture-of-Experts avec 671 milliards de paramètres, conçu pour une inférence efficace et un entraînement économique. Il excelle dans divers…

Modèles d'IA et LLM

N°40 en LLM

Voir l'outil

Modèle de langage Mixture-of-Experts avec 671 milliards de paramètres, conçu pour une inférence efficace et un entraînement économique. Il excelle dans divers…DeepSeek-V3 est un modèle de langage Mixture-of-Experts avec 671 milliards de paramètres, conçu pour une inférence efficace et un entraînement économique. Il excelle dans divers…

En vedetteModèles d'IA et LLM
N°40 en LLM

OpenLLaMA

Dépôts GitHub d'IA

OpenLLaMA est une reproduction sous licence permissive et open-source du modèle LLaMA 7B de Meta AI. Entraîné sur le jeu de données RedPajama, il offre des versions avec 3B, 7B et…

Modèles d'IA et LLM
Voir l'outil

Dépôts GitHub d'IA

Reproduction sous licence permissive et open-source du modèle LLaMA 7B de Meta AI. Entraîné sur le jeu de données RedPajama, il offre des versions avec 3B, 7B et…OpenLLaMA est une reproduction sous licence permissive et open-source du modèle LLaMA 7B de Meta AI. Entraîné sur le jeu de données RedPajama, il offre des versions avec 3B, 7B et…

Modèles d'IA et LLM
Voir le Top 250 Dépôts GitHub d'IA

DeepSeek est une entreprise de recherche en IA dédiée au développement de l'intelligence artificielle générale. Elle propose des LLM de pointe en open source tels que DeepSeek-V4,…

Modèles d'IA et LLM

N°2 en LLM

Voir l'outil

Entreprise de recherche en IA dédiée au développement de l'intelligence artificielle générale. Elle propose des LLM de pointe en open source tels que DeepSeek-V4,…DeepSeek est une entreprise de recherche en IA dédiée au développement de l'intelligence artificielle générale. Elle propose des LLM de pointe en open source tels que DeepSeek-V4,…

En vedetteModèles d'IA et LLM
N°2 en LLM

DeepSeek-R1

Dépôts GitHub d'IA

DeepSeek-R1 est un projet GitHub axé sur des solutions alimentées par l'IA. Il propose une variété de dépôts qui améliorent les capacités de l'IA, y compris des plugins, des…

Modèles d'IA et LLM
Voir l'outil

Dépôts GitHub d'IA

Projet GitHub axé sur des solutions alimentées par l'IA. Il propose une variété de dépôts qui améliorent les capacités de l'IA, y compris des plugins, des…DeepSeek-R1 est un projet GitHub axé sur des solutions alimentées par l'IA. Il propose une variété de dépôts qui améliorent les capacités de l'IA, y compris des plugins, des…

Modèles d'IA et LLM
Voir le Top 250 Dépôts GitHub d'IA

FNet

Dépôts GitHub d'IA

FNet est une architecture d'encodeur efficace de type Transformer qui remplace l'auto-attention par des Transformées de Fourier. Développé par Google Research, il offre une…

Modèles d'IA et LLM
Voir l'outil

Dépôts GitHub d'IA

Architecture d'encodeur efficace de type Transformer qui remplace l'auto-attention par des Transformées de Fourier. Développé par Google Research, il offre une…FNet est une architecture d'encodeur efficace de type Transformer qui remplace l'auto-attention par des Transformées de Fourier. Développé par Google Research, il offre une…

Modèles d'IA et LLM
Voir le Top 250 Dépôts GitHub d'IA

DeepSeek Online

Applications IA

Une démo en ligne gratuite du modèle open-source DeepSeek V3 (671 milliards de paramètres) qui fonctionne dans votre navigateur sans inscription, avec des liens pour exécuter le…

Modèles d'IA et LLM
Voir l'outil

Applications IA

Une démo en ligne gratuite du modèle open-source DeepSeek V3 (671 milliards de paramètres) qui fonctionne dans votre navigateur sans inscription, avec des liens pour exécuter le…

Modèles d'IA et LLM
Voir le Top 250 Applications IA

LlamaFactory

Dépôts GitHub d'IA

LlamaFactory est un dépôt GitHub axé sur l'ajustement fin unifié et efficace de plus de 100 modèles de langage de grande taille (LLMs) et de modèles de langage visuel (VLMs). Son…

Plateformes de machine learning

N°12 en Dépôts GitHub d'IA

Voir l'outil

Dépôts GitHub d'IA

Dépôt GitHub axé sur l'ajustement fin unifié et efficace de plus de 100 modèles de langage de grande taille (LLMs) et de modèles de langage visuel (VLMs). Son…LlamaFactory est un dépôt GitHub axé sur l'ajustement fin unifié et efficace de plus de 100 modèles de langage de grande taille (LLMs) et de modèles de langage visuel (VLMs). Son…

En vedettePlateformes de machine learning
N°12 en Dépôts GitHub d'IA
1 sur 8