Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

DeepSeek V3 JAX

KI-GitHub-ReposKI-Modelle & LLMsOpen Source · macOS, Linux

DeepSeek V3 JAX ist eine Open-Source-Implementierung des DeepSeek V3 Modells, einschließlich MLA, DeepSeekMoE, aux-loss-freier Balance und MTP. Entwickelt in 190 Zeilen reinem JAX, demonstriert dieses Projekt, wie man das Modell trainiert und sampelt, selbst auf einem MacBook Air. Es bietet eine prägnante und effiziente Möglichkeit, fortgeschrittene Architekturen großer Sprachmodelle zu erkunden.

Repository ansehen
Teilen
Repository ansehen
Teilen

DeepSeek V3 JAX ist eine kompakte und effiziente Open-Source-Implementierung der Architektur des DeepSeek V3 großen Sprachmodells. Dieses Projekt, entwickelt von Vaibhaav Tiwari, destilliert das komplexe Design von DeepSeek V3, das Funktionen wie Multi-Layer Attention (MLA), DeepSeekMoE (Mixture-of-Experts), aux-loss-freie Balance und Multi-Task Pre-training (MTP) umfasst, in etwa 190 Zeilen reinem JAX-Code.

Weiterlesen

Das Repository bietet einen umfassenden Leitfaden zum Verständnis, Training und Sampling des DeepSeek V3 Modells. Es enthält Skripte zur Modellerstellung, Trainingsschleifen, Datenvorbereitung und Sampling, was es Forschern und Entwicklern erleichtert, mit fortgeschrittenen LLM-Architekturen zu experimentieren. Ein bemerkenswerter Aspekt dieser Implementierung ist die nachgewiesene Fähigkeit, auf einem MacBook Air trainiert zu werden, was ihre Effizienz und ihr Potenzial für lokale Entwicklung und Experimente hervorhebt.

Das Projekt betont Klarheit und Prägnanz und bietet einen minimalistischen Ansatz zur Implementierung eines anspruchsvollen Modells. Es dient als Bildungsressource für diejenigen, die in die Einzelheiten der Komponenten von DeepSeek V3 und deren JAX-Implementierung eintauchen möchten. Das Repository enthält auch Tests zur Sicherstellung der Korrektheit und bietet einen vollständigen Reproduktionsleitfaden, der mit verifizierten Zahlen und Ergebnissen ausgestattet ist, sodass Benutzer die berichtete Leistung replizieren können.

Über die Kernmodellimplementierung hinaus behandelt DeepSeek V3 JAX auch praktische Aspekte wie die ROCm (AMD GPU) Einrichtung für das Training unter Linux, was seine Anpassungsfähigkeit an verschiedene Hardwareumgebungen anzeigt. Die Aufnahme eines detaillierten Berichts auf vaibhaav.in/writing/deepseek-v3-jax bietet weitere Einblicke in die Designentscheidungen und theoretischen Grundlagen des Projekts und macht es zu einer wertvollen Ressource sowohl für praktische Anwendungen als auch für akademische Studien.

  • KategorieKI-Modelle & LLMs
  • PreismodellOpen Source
  • BereitstellungSelbst gehostet
  • PlattformenmacOS, Linux

  • Implementierung des DeepSeek V3 Modells in JAX

  • Beinhaltet Multi-Layer Attention (MLA)

  • Integriert die DeepSeekMoE Architektur

  • Verfügt über aux-loss-freie Balance

  • Unterstützt Multi-Task Pre-training (MTP)

  • Prägnanter Code (ca. 190 Zeilen JAX)

  • Nachgewiesenes Training auf MacBook Air

  • Skripte für Modell, Training, Sampling und Datenvorbereitung

  • Enthält Tests zur Verifizierung

  • Vollständiger Reproduktionsleitfaden mit verifizierten Ergebnissen

  • ROCm (AMD GPU) Einrichtung für das Training unter Linux

  • MIT-Lizenz für die Open-Source-Nutzung

  1. Repository klonen: Erhalten Sie die Projektdateien von GitHub.

  2. Abhängigkeiten installieren: Verwenden Sie `requirements.txt`, um die erforderlichen Python-Pakete einzurichten.

  3. Daten vorbereiten: Führen Sie `prepare_data.py` aus, um Ihr Dataset für das Training vorzubereiten.

  4. Modell trainieren: Führen Sie `train.py` aus, um den Trainingsprozess des Modells zu starten.

  5. Ausgaben sampeln: Verwenden Sie `sample.py`, um Text aus dem trainierten Modell zu generieren.

  6. Tests ausführen: Überprüfen Sie die Korrektheit der Implementierung mit `tests.py`.

  • Forschung zu LLM-Architekturen
  • Effiziente Modellimplementierung
  • Lokales LLM-Training
  • JAX-Entwicklungspraxis
  • Open-Source-Beitrag
  • Bildungsressource

DeepSeek V3 JAX Bewertungen

Wird geladen...

Beliebte KI-Tools wie DeepSeek V3 JAX

DeepSeek-V3

KI-GitHub-Repos

DeepSeek-V3 ist ein offenes Mixture-of-Experts-Sprachmodell von DeepSeek mit insgesamt 671 Milliarden Parametern und 37 Milliarden aktivierten pro Token. Es wurde auf 14,8…

KI-Modelle & LLMs
Tool ansehen

KI-GitHub-Repos

Offenes Mixture-of-Experts-Sprachmodell von DeepSeek mit insgesamt 671 Milliarden Parametern und 37 Milliarden aktivierten pro Token. Es wurde auf 14,8…DeepSeek-V3 ist ein offenes Mixture-of-Experts-Sprachmodell von DeepSeek mit insgesamt 671 Milliarden Parametern und 37 Milliarden aktivierten pro Token. Es wurde auf 14,8…

KI-Modelle & LLMs
Top 250 KI-GitHub-Repos ansehen

DeepSeek-V3 ist ein Mixture-of-Experts-Sprachmodell mit 671 Milliarden Parametern, das für effiziente Inferenz und kosteneffektives Training entwickelt wurde. Es glänzt in…

KI-Modelle & LLMs

Platz 42 in LLMs

Tool ansehen

Mixture-of-Experts-Sprachmodell mit 671 Milliarden Parametern, das für effiziente Inferenz und kosteneffektives Training entwickelt wurde. Es glänzt in…DeepSeek-V3 ist ein Mixture-of-Experts-Sprachmodell mit 671 Milliarden Parametern, das für effiziente Inferenz und kosteneffektives Training entwickelt wurde. Es glänzt in…

EmpfohlenKI-Modelle & LLMs
Platz 42 in LLMs

OpenLLaMA

KI-GitHub-Repos

OpenLLaMA ist eine permissiv lizenzierte Open-Source-Reproduktion des LLaMA 7B-Modells von Meta AI. Trainiert auf dem RedPajama-Datensatz, bietet es Versionen mit 3B, 7B und 13B…

KI-Modelle & LLMs
Tool ansehen

KI-GitHub-Repos

Permissiv lizenzierte Open-Source-Reproduktion des LLaMA 7B-Modells von Meta AI. Trainiert auf dem RedPajama-Datensatz, bietet es Versionen mit 3B, 7B und 13B…OpenLLaMA ist eine permissiv lizenzierte Open-Source-Reproduktion des LLaMA 7B-Modells von Meta AI. Trainiert auf dem RedPajama-Datensatz, bietet es Versionen mit 3B, 7B und 13B…

KI-Modelle & LLMs
Top 250 KI-GitHub-Repos ansehen

DeepSeek ist ein KI-Forschungsunternehmen, das sich der Entwicklung allgemeiner künstlicher Intelligenz widmet. Es bietet Open-Source-Frontier-LLMs wie DeepSeek-V4, DeepSeek-R1…

KI-Modelle & LLMs

Platz 2 in LLMs

Tool ansehen

KI-Forschungsunternehmen, das sich der Entwicklung allgemeiner künstlicher Intelligenz widmet. Es bietet Open-Source-Frontier-LLMs wie DeepSeek-V4, DeepSeek-R1…DeepSeek ist ein KI-Forschungsunternehmen, das sich der Entwicklung allgemeiner künstlicher Intelligenz widmet. Es bietet Open-Source-Frontier-LLMs wie DeepSeek-V4, DeepSeek-R1…

EmpfohlenKI-Modelle & LLMs
Platz 2 in LLMs

DeepSeek-R1

KI-GitHub-Repos

DeepSeek-R1 ist ein GitHub-Projekt, das sich auf KI-gesteuerte Lösungen konzentriert. Es bietet eine Vielzahl von Repositories, die die KI-Fähigkeiten verbessern, einschließlich…

KI-Modelle & LLMs
Tool ansehen

KI-GitHub-Repos

GitHub-Projekt, das sich auf KI-gesteuerte Lösungen konzentriert. Es bietet eine Vielzahl von Repositories, die die KI-Fähigkeiten verbessern, einschließlich…DeepSeek-R1 ist ein GitHub-Projekt, das sich auf KI-gesteuerte Lösungen konzentriert. Es bietet eine Vielzahl von Repositories, die die KI-Fähigkeiten verbessern, einschließlich…

KI-Modelle & LLMs
Top 250 KI-GitHub-Repos ansehen

FNet

KI-GitHub-Repos

FNet ist eine effiziente Transformer-ähnliche Encoder-Architektur, die Self-Attention durch Fourier-Transformationen ersetzt. Entwickelt von Google Research, bietet es eine…

KI-Modelle & LLMs
Tool ansehen

KI-GitHub-Repos

Effiziente Transformer-ähnliche Encoder-Architektur, die Self-Attention durch Fourier-Transformationen ersetzt. Entwickelt von Google Research, bietet es eine…FNet ist eine effiziente Transformer-ähnliche Encoder-Architektur, die Self-Attention durch Fourier-Transformationen ersetzt. Entwickelt von Google Research, bietet es eine…

KI-Modelle & LLMs
Top 250 KI-GitHub-Repos ansehen

Eine kostenlose Online-Demo des Open-Source DeepSeek V3 Modells (671B Parameter), das in Ihrem Browser ohne Registrierung läuft, sowie Links, um das Modell lokal für persönliche…

KI-Modelle & LLMs
Tool ansehen

Eine kostenlose Online-Demo des Open-Source DeepSeek V3 Modells (671B Parameter), das in Ihrem Browser ohne Registrierung läuft, sowie Links, um das Modell lokal für persönliche…

KI-Modelle & LLMs
Top 250 KI-Apps ansehen

LlamaFactory

KI-GitHub-Repos

LlamaFactory ist ein GitHub-Repository, das sich auf das einheitliche und effiziente Fine-Tuning von über 100 großen Sprachmodellen (LLMs) und Vision-Language-Modellen (VLMs)…

Machine-Learning-Plattformen

Platz 13 in KI-GitHub-Repos

Tool ansehen

KI-GitHub-Repos

GitHub-Repository, das sich auf das einheitliche und effiziente Fine-Tuning von über 100 großen Sprachmodellen (LLMs) und Vision-Language-Modellen (VLMs)…LlamaFactory ist ein GitHub-Repository, das sich auf das einheitliche und effiziente Fine-Tuning von über 100 großen Sprachmodellen (LLMs) und Vision-Language-Modellen (VLMs)…

EmpfohlenMachine-Learning-Plattformen
Platz 13 in KI-GitHub-Repos
1 von 8