メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

DeepSeek V3 JAX

AI GitHub リポジトリAIモデルとLLMオープンソース · macOS, Linux

DeepSeek V3 JAXは、MLA、DeepSeekMoE、aux-loss-freeバランシング、MTPを含むDeepSeek V3モデルのオープンソース実装です。190行の純粋なJAXで開発されており、このプロジェクトはMacBook Air上でモデルをトレーニングし、サンプリングする方法を示しています。高度な大規模言語モデルアーキテクチャを探求するための簡潔で効率的な方法を提供します。

リポジトリを見る
共有
リポジトリを見る
共有

DeepSeek V3 JAXは、DeepSeek V3大規模言語モデルアーキテクチャのコンパクトで効率的なオープンソース実装です。このプロジェクトはVaibhaav Tiwariによって開発され、Multi-Layer Attention(MLA)、DeepSeekMoE(Mixture-of-Experts)、aux-loss-freeバランシング、Multi-Task Pre-training(MTP)などの機能を取り入れた複雑なDeepSeek V3設計を約190行の純粋なJAXコードに凝縮しています。

続きを読む

リポジトリは、DeepSeek V3モデルの理解、トレーニング、サンプリングのための包括的なガイドを提供します。モデル定義、トレーニングループ、データ準備、サンプリングのためのスクリプトが含まれており、高度なLLMアーキテクチャを試してみたい研究者や開発者にとってアクセスしやすくなっています。この実装の注目すべき点は、MacBook Air上でトレーニングできることが示されており、効率性とローカル開発および実験の可能性を強調しています。

プロジェクトは明確さと簡潔さを重視しており、洗練されたモデルを実装するためのミニマリストアプローチを提供します。DeepSeek V3のコンポーネントとそのJAX実装の詳細に踏み込むことを望む人々にとって教育的リソースとして機能します。リポジトリには、正確性を確保するためのテストも含まれており、検証済みの数値と結果を含む完全な再現ガイドが提供されており、ユーザーが報告されたパフォーマンスを再現できるようになっています。

コアモデルの実装を超えて、DeepSeek V3 JAXは、Linux上でのトレーニングのためのROCm(AMD GPU)セットアップなど、実用的な側面にも対応しており、さまざまなハードウェア環境への適応性を示しています。vaibhaav.in/writing/deepseek-v3-jaxに関する詳細な解説が含まれており、プロジェクトの設計選択や理論的基盤についてのさらなる洞察を提供し、実用的な応用と学術的研究の両方にとって貴重なリソースとなっています。

  • カテゴリーAIモデルとLLM
  • 料金モデルオープンソース
  • デプロイセルフホスト
  • プラットフォームmacOS, Linux

  • JAXによるDeepSeek V3モデルの実装

  • Multi-Layer Attention(MLA)を含む

  • DeepSeekMoEアーキテクチャを組み込む

  • aux-loss-freeバランシング機能

  • Multi-Task Pre-training(MTP)をサポート

  • 簡潔なコードベース(約190行のJAX)

  • MacBook Airでのトレーニングを実証

  • モデル、トレーニング、サンプリング、データ準備のためのスクリプト

  • 検証のためのテストを含む

  • 検証済みの結果を持つ完全な再現ガイド

  • LinuxトレーニングのためのROCm(AMD GPU)セットアップ

  • オープンソース利用のためのMITライセンス

  1. リポジトリをクローンする:GitHubからプロジェクトファイルを取得します。

  2. 依存関係をインストールする:`requirements.txt`を使用して必要なPythonパッケージを設定します。

  3. データを準備する:`prepare_data.py`を実行して、トレーニング用のデータセットを準備します。

  4. モデルをトレーニングする:`train.py`を実行してモデルのトレーニングプロセスを開始します。

  5. 出力をサンプリングする:`sample.py`を使用してトレーニングされたモデルからテキストを生成します。

  6. テストを実行する:`tests.py`で実装の正確性を確認します。

  • LLMアーキテクチャ研究
  • 効率的なモデル実装
  • ローカルLLMトレーニング
  • JAX開発の実践
  • オープンソース貢献
  • 教育リソース

DeepSeek V3 JAX のレビュー

読み込み中...

DeepSeek V3 JAX に似た人気のAIツール

DeepSeek-V3

AI GitHub リポジトリ

DeepSeek-V3は、DeepSeekによるオープンウェイトのMixture-of-Experts言語モデルで、合計6710億のパラメータとトークンごとに370億のアクティブパラメータを持っています。128Kのコンテキスト長で148兆トークンで事前学習されており、自己ホスティング用またはDeepSeekのチャットウェブサイトを通じて使用するために、Git…

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

DeepSeekによるオープンウェイトのMixture-of-Experts言語モデルで、合計6710億のパラメータとトークンごとに370億のアクティブパラメータを持っています。128Kのコンテキスト長で148兆トークンで事前学習されており、自己ホスティング用またはDeepSeekのチャットウェブサイトを通じて使用するために、Git…DeepSeek-V3は、DeepSeekによるオープンウェイトのMixture-of-Experts言語モデルで、合計6710億のパラメータとトークンごとに370億のアクティブパラメータを持っています。128Kのコンテキスト長で148兆トークンで事前学習されており、自己ホスティング用またはDeepSeekのチャットウェブサイトを通じて使用するために、Git…

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

DeepSeek-V3は、6710億のパラメータを持つMixture-of-Experts言語モデルで、効率的な推論とコスト効果の高いトレーニングを目的としています。自然言語処理タスクにおいて強力なパフォーマンスを示し、さまざまなベンチマークで優れた結果を出しています。

AIモデルとLLM

LLMで第42位

ツールを見る

6710億のパラメータを持つMixture-of-Experts言語モデルで、効率的な推論とコスト効果の高いトレーニングを目的としています。自然言語処理タスクにおいて強力なパフォーマンスを示し、さまざまなベンチマークで優れた結果を出しています。DeepSeek-V3は、6710億のパラメータを持つMixture-of-Experts言語モデルで、効率的な推論とコスト効果の高いトレーニングを目的としています。自然言語処理タスクにおいて強力なパフォーマンスを示し、さまざまなベンチマークで優れた結果を出しています。

注目AIモデルとLLM
LLMで第42位

OpenLLaMA

AI GitHub リポジトリ

OpenLLaMAは、Meta AIのLLaMA 7Bモデルを許可なく利用可能なライセンスで再現したオープンソースモデルです。RedPajamaデータセットで学習され、3B、7B、13Bのパラメータバージョンを提供し、既存のLLaMA実装にシームレスに統合するためのPyTorchおよびJAXウェイトを提供します。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

Meta AIのLLaMA 7Bモデルを許可なく利用可能なライセンスで再現したオープンソースモデルです。RedPajamaデータセットで学習され、3B、7B、13Bのパラメータバージョンを提供し、既存のLLaMA実装にシームレスに統合するためのPyTorchおよびJAXウェイトを提供します。OpenLLaMAは、Meta AIのLLaMA 7Bモデルを許可なく利用可能なライセンスで再現したオープンソースモデルです。RedPajamaデータセットで学習され、3B、7B、13Bのパラメータバージョンを提供し、既存のLLaMA実装にシームレスに統合するためのPyTorchおよびJAXウェイトを提供します。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

DeepSeekは、一般的な人工知能の開発に専念するAI研究会社です。DeepSeek-V4、DeepSeek-R1、DeepSeek-Coderなどのオープンソースの最前線LLMを提供し、ユーザーはAIとチャットしたり、さまざまなアプリケーションのためにAPIを介して統合したりできます。

AIモデルとLLM

LLMで第2位

ツールを見る

一般的な人工知能の開発に専念するAI研究会社です。DeepSeek-V4、DeepSeek-R1、DeepSeek-Coderなどのオープンソースの最前線LLMを提供し、ユーザーはAIとチャットしたり、さまざまなアプリケーションのためにAPIを介して統合したりできます。DeepSeekは、一般的な人工知能の開発に専念するAI研究会社です。DeepSeek-V4、DeepSeek-R1、DeepSeek-Coderなどのオープンソースの最前線LLMを提供し、ユーザーはAIとチャットしたり、さまざまなアプリケーションのためにAPIを介して統合したりできます。

注目AIモデルとLLM
LLMで第2位

DeepSeek-R1

AI GitHub リポジトリ

DeepSeek-R1は、AI駆動のソリューションに焦点を当てたGitHubプロジェクトです。プラグイン、スパースアテンションカーネル、効率的な通信ライブラリなど、AI機能を強化するさまざまなリポジトリを提供しています。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

AI駆動のソリューションに焦点を当てたGitHubプロジェクトです。プラグイン、スパースアテンションカーネル、効率的な通信ライブラリなど、AI機能を強化するさまざまなリポジトリを提供しています。DeepSeek-R1は、AI駆動のソリューションに焦点を当てたGitHubプロジェクトです。プラグイン、スパースアテンションカーネル、効率的な通信ライブラリなど、AI機能を強化するさまざまなリポジトリを提供しています。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

FNet

AI GitHub リポジトリ

FNetは、自己注意機構をフーリエ変換に置き換えた効率的なTransformerライクなエンコーダーアーキテクチャです。Google Researchによって開発され、自然言語処理タスクにおいて高性能な代替手段を提供します。このモデルはJax/Flaxで実装されており、事前学習およびファインチューニングのためにGitHubで利用可能です。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

自己注意機構をフーリエ変換に置き換えた効率的なTransformerライクなエンコーダーアーキテクチャです。Google Researchによって開発され、自然言語処理タスクにおいて高性能な代替手段を提供します。このモデルはJax/Flaxで実装されており、事前学習およびファインチューニングのためにGitHubで利用可能です。FNetは、自己注意機構をフーリエ変換に置き換えた効率的なTransformerライクなエンコーダーアーキテクチャです。Google Researchによって開発され、自然言語処理タスクにおいて高性能な代替手段を提供します。このモデルはJax/Flaxで実装されており、事前学習およびファインチューニングのためにGitHubで利用可能です。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

DeepSeek Online

AI アプリ

ブラウザで登録なしに動作するオープンソースのDeepSeek V3モデル(671Bパラメータ)の無料オンラインデモと、個人および商業利用のためにモデルをローカルで実行するためのリンクを提供します。

AIモデルとLLM
ツールを見る

AI アプリ

ブラウザで登録なしに動作するオープンソースのDeepSeek V3モデル(671Bパラメータ)の無料オンラインデモと、個人および商業利用のためにモデルをローカルで実行するためのリンクを提供します。

AIモデルとLLM
AI アプリ トップ250を見る

LlamaFactory

AI GitHub リポジトリ

LlamaFactoryは、100以上の大規模言語モデル(LLM)および視覚言語モデル(VLM)の統一的かつ効率的なファインチューニングに焦点を当てたGitHubリポジトリです。AI分野の研究者や開発者のためにファインチューニングプロセスを簡素化することを目的としています。

機械学習プラットフォーム

AI GitHub リポジトリで第13位

ツールを見る

AI GitHub リポジトリ

100以上の大規模言語モデル(LLM)および視覚言語モデル(VLM)の統一的かつ効率的なファインチューニングに焦点を当てたGitHubリポジトリです。AI分野の研究者や開発者のためにファインチューニングプロセスを簡素化することを目的としています。LlamaFactoryは、100以上の大規模言語モデル(LLM)および視覚言語モデル(VLM)の統一的かつ効率的なファインチューニングに焦点を当てたGitHubリポジトリです。AI分野の研究者や開発者のためにファインチューニングプロセスを簡素化することを目的としています。

注目機械学習プラットフォーム
AI GitHub リポジトリで第13位
1 / 8