Beschreibung
DeepSeek-V3 ist ein großes Sprachmodell, das von DeepSeek AI als Mixture-of-Experts (MoE) Architektur veröffentlicht wurde: insgesamt 671 Milliarden Parameter, wobei für ein gegebenes Token nur 37 Milliarden aktiviert sind, was die Inferenz kostengünstiger macht als die Ausführung der gesamten Parameteranzahl bei jeder Anfrage. Es baut auf der Architektur auf, die in DeepSeek-V2 eingeführt wurde, führt Multi-head Latent Attention und das DeepSeekMoE-Design weiter und fügt eine Strategie zur Lastenverteilung ohne Hilfsverlust hinzu, die das Team als Reduzierung der Leistungskosten beschreibt, die normalerweise mit der Lastenverteilung einhergehen.
Weiterlesen
Das Training verwendete 14,8 Billionen Tokens an Vortrainingsdaten, gefolgt von überwachten Feinabstimmungs- und Verstärkungslernphasen. DeepSeek berichtet, dass der gesamte Vortraining-Lauf etwa 2,664 Millionen H800 GPU-Stunden gekostet hat, wobei spätere Trainingsphasen nur etwa 0,1 Millionen mehr hinzufügten, was insgesamt etwa 2,788 Millionen GPU-Stunden ergibt, und beschreibt den Trainingsprozess als stabil, ohne irreparable Verlustspitzen oder Rückrollungen. Ein Teil dieser Effizienz stammt von einem FP8-Mischpräzisionstraining, das das Team in diesem Maßstab validiert hat, zusammen mit Ingenieurarbeiten zur Reduzierung des Kommunikationsaufwands zwischen GPU-Knoten während des Mixture-of-Experts-Trainings. Ein separater Nachtrainingsschritt destilliert das Denkverhalten von DeepSeek-R1, einem Modell mit langen Gedankengängen in der Produktreihe von DeepSeek, in DeepSeek-V3, mit dem Ziel, dessen Denkfähigkeit zu verbessern und gleichzeitig den Ausgabestil kontrolliert zu halten.
DeepSeek-V3 unterstützt eine Kontextlänge von 128K und schneidet in den Benchmarks, die DeepSeek veröffentlicht, vergleichbar mit führenden Closed-Source-Modellen ab, während es andere Open-Source-Modelle, mit denen es verglichen wird, übertrifft. Das Modell und sein Basis-Checkpoint, DeepSeek-V3-Base, sind beide von Hugging Face herunterladbar.
Für alle, die nicht selbst hosten möchten, betreibt DeepSeek eine Chat-Website, auf der das Modell direkt verwendet werden kann. Für das Selbst-Hosting wird DeepSeek-V3 von mehreren Open-Source-Inferenz-Engines unterstützt, darunter SGLang, vLLM, LMDeploy und TensorRT-LLM, wobei SGLang auch die Bereitstellung auf AMD-GPUs ermöglicht. Das Ausführen des Demoinferenz-Skripts lokal erfordert ein Linux-System mit Python 3.10 (Mac und Windows werden für diesen Pfad nicht unterstützt) und, für das vollständige Modell, genügend kombinierte GPU-Speicher über mehrere Maschinen, um 671 Milliarden Parameter zu halten. Der Code wird unter der MIT-Lizenz veröffentlicht, während die Modellgewichte eine separate Modelllizenzvereinbarung tragen. Dies ist ein Modell für Entwickler und Forscher mit der Infrastruktur, um ein großes offenes Modell zu bedienen, kein Plug-and-Play-Verbraucheranwendung.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungSelbst gehostet
- PlattformenLinux
DeepSeek-V3's Kernfunktionen
671B-Parameter Mixture-of-Experts-Modell mit 37B aktivierten Parametern pro Token
Multi-head Latent Attention und DeepSeekMoE-Architektur, die aus DeepSeek-V2 übernommen und verfeinert wurde
Lastenverteilungsstrategie ohne Hilfsverlust über Experten
Multi-Token-Vorhersage-Trainingsziel, auch für spekulative Dekodierung bei der Inferenz verwendbar
FP8-Mischpräzisionstraining, das in großem Maßstab validiert wurde
128K Kontextlänge
Nachtrainingsdestillation des Denkverhaltens von DeepSeek-R1 in das Basismodell
Unterstützt von wichtigen Open-Source-Inferenz-Engines: SGLang, vLLM, LMDeploy und TensorRT-LLM, plus AMD-GPUs über SGLang
Erste Schritte mit DeepSeek-V3
Online ausprobieren: Chatten Sie mit DeepSeek-V3 auf der Chat-Website von DeepSeek, ohne etwas zu installieren
Gewichte herunterladen: Holen Sie sich DeepSeek-V3 oder DeepSeek-V3-Base von Hugging Face
Wählen Sie eine Inferenz-Engine: Wählen Sie SGLang, vLLM, LMDeploy oder TensorRT-LLM basierend auf Ihrer Hardware
Gewichte konvertieren, falls erforderlich: Führen Sie das bereitgestellte Konvertierungsskript für den Demoinferenzpfad aus
Modell ausführen: Starten Sie die Inferenz über genügend GPUs und, für das vollständige Modell, über mehrere Knoten
DeepSeek-V3's Anwendungsfälle
- Selbst-gehostete LLM-Bereitstellung
- Forschung zur MoE-Architektur
- Hochdurchsatz-Inferenzbereitstellung
