설명
DeepSeek-V3는 DeepSeek AI에서 Mixture-of-Experts (MoE) 아키텍처로 출시한 대형 언어 모델입니다: 총 6710억 개의 매개변수 중 370억 개만이 특정 토큰에 대해 활성화되어 있어, 모든 요청에서 전체 매개변수 수를 실행하는 것보다 추론 비용이 저렴합니다. 이는 DeepSeek-V2에서 도입된 아키텍처를 기반으로 하며, Multi-head Latent Attention과 DeepSeekMoE 디자인을 계승하고, 전문가 간의 부하 균형을 위한 보조 손실 없는 전략을 추가하여 부하 균형에 일반적으로 수반되는 성능 비용을 줄인다고 팀은 설명합니다.
더 읽기
훈련에는 14.8조 개의 토큰으로 구성된 사전 훈련 데이터가 사용되었으며, 이후 감독된 미세 조정 및 강화 학습 단계가 이어졌습니다. DeepSeek는 전체 사전 훈련 과정이 약 266만 H800 GPU 시간을 소요했으며, 이후 훈련 단계에서 약 10만 시간을 추가하여 총 약 278.8만 GPU 시간이 소요되었다고 보고하며, 훈련 과정이 안정적이었고 회복 불가능한 손실 급증이나 롤백이 없었다고 설명합니다. 이러한 효율성의 일부는 팀이 이 규모에서 검증한 FP8 혼합 정밀도 훈련 프레임워크와 Mixture-of-Experts 훈련 중 GPU 노드 간의 통신 오버헤드를 줄이기 위한 엔지니어링 작업에서 비롯됩니다. 별도의 사후 훈련 단계에서는 DeepSeek의 라인업에 있는 장기 사고 모델인 DeepSeek-R1에서 추론 행동을 증류하여 DeepSeek-V3로 전이하여, 출력 스타일을 제어하면서 추론 능력을 향상시키는 것을 목표로 합니다.
DeepSeek-V3는 128K의 컨텍스트 길이를 지원하며, DeepSeek가 발표한 벤치마크에서 주요 폐쇄형 모델과 유사한 성능을 보이며, 비교 대상인 다른 오픈 소스 모델보다 우수한 성능을 발휘합니다. 모델과 기본 체크포인트인 DeepSeek-V3-Base는 모두 Hugging Face에서 다운로드할 수 있습니다.
자체 호스팅을 원하지 않는 경우, DeepSeek는 모델을 직접 사용할 수 있는 채팅 웹사이트를 운영합니다. 자체 호스팅을 위해 DeepSeek-V3는 SGLang, vLLM, LMDeploy, TensorRT-LLM 등 여러 오픈 소스 추론 엔진에서 지원되며, SGLang는 AMD GPU에서도 배포를 가능하게 합니다. 로컬에서 데모 추론 스크립트를 실행하려면 Python 3.10이 설치된 Linux 시스템이 필요하며(이 경로에서는 Mac과 Windows는 지원되지 않음), 전체 모델을 위해서는 6710억 개의 매개변수를 보유할 수 있는 여러 머신 간의 충분한 GPU 메모리가 필요합니다. 코드는 MIT 라이센스 하에 공개되며, 모델 가중치는 별도의 모델 라이센스 계약을 따릅니다. 이는 대형 오픈 가중치 모델을 제공할 수 있는 인프라를 갖춘 개발자와 연구자를 위한 모델이지, 플러그 앤 플레이 소비자 앱이 아닙니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포셀프 호스팅
- 플랫폼Linux
DeepSeek-V3의 핵심 기능
370억 개의 매개변수가 활성화된 6710억 매개변수 Mixture-of-Experts 모델
DeepSeek-V2에서 계승 및 개선된 Multi-head Latent Attention 및 DeepSeekMoE 아키텍처
전문가 간의 부하 균형을 위한 보조 손실 없는 전략
추론 시 사용 가능한 다중 토큰 예측 훈련 목표
대규모에서 검증된 FP8 혼합 정밀도 훈련 프레임워크
128K의 컨텍스트 길이
DeepSeek-R1에서 기본 모델로의 추론 행동 사후 증류
주요 오픈 소스 추론 엔진인 SGLang, vLLM, LMDeploy, TensorRT-LLM에서 지원되며, SGLang를 통해 AMD GPU도 지원
DeepSeek-V3 시작하기
온라인으로 사용해보기: DeepSeek의 채팅 웹사이트에서 아무것도 설치하지 않고 DeepSeek-V3와 채팅하기
가중치 다운로드: Hugging Face에서 DeepSeek-V3 또는 DeepSeek-V3-Base 받기
추론 엔진 선택: 하드웨어에 따라 SGLang, vLLM, LMDeploy 또는 TensorRT-LLM 선택하기
필요시 가중치 변환: 제공된 변환 스크립트를 실행하여 데모 추론 경로에 맞게 변환하기
모델 실행: 충분한 GPU에서 추론을 시작하고, 전체 모델의 경우 여러 노드에서 실행하기
DeepSeek-V3의 사용 사례
- 자체 호스팅 LLM 배포
- MoE 아키텍처 연구
- 고속 추론 제공
