説明
DeepSeek-V3は、DeepSeek AIによってリリースされた大規模言語モデルで、Mixture-of-Experts（MoE）アーキテクチャを採用しています：合計6710億のパラメータのうち、任意のトークンに対して370億のみがアクティブであり、これにより各リクエストでフルパラメータ数を実行するよりも推論コストが安くなります。これは、DeepSeek-V2で導入されたアーキテクチャを基にしており、マルチヘッド潜在注意機構とDeepSeekMoE設計を引き継ぎ、専門家間の負荷をバランスさせるための補助損失なしの戦略を追加しています。この戦略により、通常負荷分散に伴うパフォーマンスコストが削減されるとチームは述べています。
続きを読む
トレーニングには148兆トークンの事前学習データが使用され、その後に監視付きファインチューニングと強化学習の段階が続きました。DeepSeekは、フル事前学習の実行に約266.4万H800 GPU時間がかかり、その後のトレーニング段階では約10万時間のみ追加され、合計で約278.8万GPU時間になると報告しています。また、トレーニングプロセスは安定しており、回復不可能な損失スパイクやロールバックは発生しなかったと説明しています。この効率の一部は、チームがこのスケールで検証したFP8混合精度トレーニングフレームワークから来ており、Mixture-of-Expertsトレーニング中のGPUノード間の通信オーバーヘッドを削減するためのエンジニアリング作業も行われています。別のポストトレーニングステップでは、DeepSeekのラインアップにある長い思考モデルDeepSeek-R1からの推論行動をDeepSeek-V3に蒸留し、その出力スタイルを制御しながら推論能力を向上させることを目指しています。
DeepSeek-V3は128Kのコンテキスト長をサポートしており、DeepSeekが公開するベンチマークでは、主要なクローズドソースモデルと同等のパフォーマンスを発揮し、比較対象の他のオープンソースモデルを上回っています。このモデルとそのベースチェックポイントであるDeepSeek-V3-Baseは、Hugging Faceからダウンロード可能です。
自己ホスティングを希望しない方のために、DeepSeekはモデルを直接使用できるチャットウェブサイトを運営しています。自己ホスティングの場合、DeepSeek-V3はSGLang、vLLM、LMDeploy、TensorRT-LLMなどのいくつかのオープンソース推論エンジンによってサポートされており、SGLangはAMD GPUでのデプロイも可能にしています。デモ推論スクリプトをローカルで実行するには、Python 3.10を搭載したLinuxシステムが必要で（MacおよびWindowsはそのパスではサポートされていません）、フルモデルの場合、6710億のパラメータを保持するために複数のマシンで十分なGPUメモリが必要です。コードはMITライセンスの下でリリースされており、モデルウェイトには別のモデルライセンス契約が付随しています。これは、大規模なオープンウェイトモデルを提供するインフラを持つ開発者や研究者向けのモデルであり、プラグアンドプレイの消費者アプリではありません。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイセルフホスト
- プラットフォームLinux
DeepSeek-V3の主要機能
671BパラメータのMixture-of-Expertsモデルで、トークンごとに37Bのパラメータがアクティブ
DeepSeek-V2から引き継がれ、洗練されたマルチヘッド潜在注意機構とDeepSeekMoEアーキテクチャ
専門家間の負荷バランスのための補助損失なしの戦略
マルチトークン予測トレーニング目的、推論時の推測デコーディングにも使用可能
大規模で検証されたFP8混合精度トレーニングフレームワーク
128Kのコンテキスト長
DeepSeek-R1からの推論行動のポストトレーニング蒸留をベースモデルに統合
主要なオープンソース推論エンジン（SGLang、vLLM、LMDeploy、TensorRT-LLM）によってサポートされ、SGLangはAMD GPUもサポート
DeepSeek-V3をはじめる
オンラインで試す：DeepSeekのチャットウェブサイトでDeepSeek-V3とチャットし、何もインストールせずに使用できます
ウェイトをダウンロード：Hugging FaceからDeepSeek-V3またはDeepSeek-V3-Baseを取得
推論エンジンを選択：ハードウェアに基づいてSGLang、vLLM、LMDeploy、またはTensorRT-LLMを選択
必要に応じてウェイトを変換：デモ推論パスのために提供された変換スクリプトを実行
モデルを実行：十分なGPUで推論を開始し、フルモデルの場合は複数のノードで実行
DeepSeek-V3の使用例
- 自己ホスティングされたLLMデプロイメント
- MoEアーキテクチャ研究
- 高スループット推論サービス
