描述
DeepSeek-V3 是 DeepSeek AI 发布的大型语言模型，采用混合专家（MoE）架构：总共 6710 亿个参数，每个令牌仅激活 370 亿个参数，这使得推理成本低于在每个请求中运行全部参数。它基于 DeepSeek-V2 中引入的架构，延续了多头潜在注意力和 DeepSeekMoE 设计，并增加了一种无辅助损失的专家负载平衡策略，团队表示这减少了通常与负载平衡相关的性能成本。
阅读更多
训练使用了 14.8 万亿个预训练数据令牌，随后进行了监督微调和强化学习阶段。DeepSeek 报告称，完整的预训练运行成本约为 266.4 万 H800 GPU 小时，后续训练阶段仅增加约 10 万小时，总计约 278.8 万 GPU 小时，并将训练过程描述为稳定，没有不可恢复的损失峰值或回滚。部分效率来自于团队在此规模下验证的 FP8 混合精度训练框架，以及在混合专家训练期间减少 GPU 节点之间通信开销的工程工作。一个单独的后训练步骤将 DeepSeek-R1（DeepSeek 系列中的长链思维模型）的推理行为提炼到 DeepSeek-V3 中，旨在提高其推理能力，同时保持输出风格的可控性。
DeepSeek-V3 支持 128K 的上下文长度，并且在 DeepSeek 发布的基准测试中，其表现与领先的闭源模型相当，同时优于与之比较的其他开源模型。该模型及其基础检查点 DeepSeek-V3-Base 均可从 Hugging Face 下载。
对于不想自托管的用户，DeepSeek 运行一个聊天网站，可以直接使用该模型。对于自托管，DeepSeek-V3 得到了多个开源推理引擎的支持，包括 SGLang、vLLM、LMDeploy 和 TensorRT-LLM，SGLang 还支持在 AMD GPU 上部署。要在本地运行演示推理脚本，需要一个运行 Python 3.10 的 Linux 系统（Mac 和 Windows 不支持该路径），并且对于完整模型，需要在多台机器上拥有足够的 GPU 内存以容纳 6710 亿个参数。代码在 MIT 许可证下发布，而模型权重则有单独的模型许可证协议。这是一个面向具有基础设施以服务大型开放权重模型的开发者和研究人员的模型，而不是即插即用的消费者应用。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署自托管
- 平台Linux
DeepSeek-V3的核心功能
6710 亿参数的混合专家模型，每个令牌激活 370 亿参数
从 DeepSeek-V2 继承并优化的多头潜在注意力和 DeepSeekMoE 架构
无辅助损失的专家负载平衡策略
多令牌预测训练目标，也可用于推理时的推测解码
在大规模下验证的 FP8 混合精度训练框架
128K 上下文长度
将 DeepSeek-R1 的推理行为后训练提炼到基础模型中
得到主要开源推理引擎的支持：SGLang、vLLM、LMDeploy 和 TensorRT-LLM，SGLang 还支持 AMD GPU
DeepSeek-V3入门
在线试用：在 DeepSeek 的聊天网站上与 DeepSeek-V3 聊天，无需安装任何东西
下载权重：从 Hugging Face 获取 DeepSeek-V3 或 DeepSeek-V3-Base
选择推理引擎：根据您的硬件选择 SGLang、vLLM、LMDeploy 或 TensorRT-LLM
如有需要，转换权重：运行提供的转换脚本以进行演示推理路径
运行模型：在足够的 GPU 上启动推理，并且对于完整模型，在多个节点上运行
DeepSeek-V3的使用案例
- 自托管 LLM 部署
- MoE 架构研究
- 高吞吐量推理服务
