Description
DeepSeek-V3 est un grand modèle de langage publié par DeepSeek AI sous une architecture Mixture-of-Experts (MoE) : 671 milliards de paramètres au total, avec seulement 37 milliards activés pour un token donné, ce qui rend l'inférence moins coûteuse que de faire fonctionner le nombre total de paramètres à chaque requête. Il s'appuie sur l'architecture introduite dans DeepSeek-V2, poursuivant l'attention latente multi-tête et le design DeepSeekMoE, et ajoute une stratégie de répartition de charge sans perte auxiliaire entre les experts, ce que l'équipe affirme réduire le coût de performance généralement associé à l'équilibrage de charge.
Lire la suite
L'entraînement a utilisé 14,8 trillions de tokens de données de pré-entraînement, suivi de phases de fine-tuning supervisé et d'apprentissage par renforcement. DeepSeek rapporte que l'ensemble du coût de pré-entraînement a été d'environ 2,664 millions d'heures GPU H800, les phases d'entraînement ultérieures ajoutant seulement environ 0,1 million de plus, pour un total d'environ 2,788 millions d'heures GPU, et décrit le processus d'entraînement comme stable, sans pics de perte irrécupérables ni retours en arrière. Une partie de cette efficacité provient d'un cadre d'entraînement à précision mixte FP8 que l'équipe a validé à cette échelle, ainsi que d'un travail d'ingénierie pour réduire la surcharge de communication entre les nœuds GPU pendant l'entraînement Mixture-of-Experts. Une étape de post-entraînement distincte distille le comportement de raisonnement de DeepSeek-R1, un modèle de chaîne de pensée longue dans la gamme de DeepSeek, dans DeepSeek-V3, visant à améliorer son raisonnement tout en contrôlant son style de sortie.
DeepSeek-V3 prend en charge une longueur de contexte de 128K et, sur les benchmarks publiés par DeepSeek, performe de manière comparable aux modèles propriétaires de premier plan tout en surpassant d'autres modèles open-source avec lesquels il est comparé. Le modèle et son point de contrôle de base, DeepSeek-V3-Base, sont tous deux téléchargeables depuis Hugging Face.
Pour ceux qui ne souhaitent pas s'auto-héberger, DeepSeek gère un site de chat où le modèle peut être utilisé directement. Pour l'auto-hébergement, DeepSeek-V3 est pris en charge par plusieurs moteurs d'inférence open-source, y compris SGLang, vLLM, LMDeploy et TensorRT-LLM, SGLang permettant également le déploiement sur des GPU AMD. L'exécution du script d'inférence de démonstration localement nécessite un système Linux avec Python 3.10 (Mac et Windows ne sont pas pris en charge pour ce chemin) et, pour le modèle complet, suffisamment de mémoire GPU combinée sur plusieurs machines pour contenir 671 milliards de paramètres. Le code est publié sous la licence MIT, tandis que les poids du modèle sont soumis à un accord de licence de modèle distinct. C'est un modèle destiné aux développeurs et chercheurs disposant de l'infrastructure nécessaire pour servir un grand modèle à poids ouverts, et non une application consommateur prête à l'emploi.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementAuto-hébergé
- PlateformesLinux
Fonctionnalités principales de DeepSeek-V3
Modèle Mixture-of-Experts de 671B paramètres avec 37B paramètres activés par token
Architecture Multi-head Latent Attention et DeepSeekMoE transférée et affinée de DeepSeek-V2
Stratégie de répartition de charge sans perte auxiliaire entre les experts
Objectif d'entraînement de prédiction multi-token, également utilisable pour le décodage spéculatif lors de l'inférence
Cadre d'entraînement à précision mixte FP8 validé à grande échelle
Longueur de contexte de 128K
Distillation post-entraînement du comportement de raisonnement de DeepSeek-R1 dans le modèle de base
Prise en charge par les principaux moteurs d'inférence open-source : SGLang, vLLM, LMDeploy et TensorRT-LLM, plus les GPU AMD via SGLang
Premiers pas avec DeepSeek-V3
Essayez-le en ligne : Discutez avec DeepSeek-V3 sur le site de chat de DeepSeek sans rien installer
Téléchargez les poids : Obtenez DeepSeek-V3 ou DeepSeek-V3-Base depuis Hugging Face
Choisissez un moteur d'inférence : Sélectionnez SGLang, vLLM, LMDeploy ou TensorRT-LLM en fonction de votre matériel
Convertissez les poids si nécessaire : Exécutez le script de conversion fourni pour le chemin d'inférence de démonstration
Exécutez le modèle : Lancez l'inférence sur suffisamment de GPU et, pour le modèle complet, sur plusieurs nœuds
Cas d'utilisation de DeepSeek-V3
- Déploiement LLM auto-hébergé
- Recherche sur l'architecture MoE
- Service d'inférence à haut débit
