설명
DeepSeek-V4-Pro-DSpark는 매우 효율적인 전문가 혼합(Mixture-of-Experts, MoE) 언어 모델을 포함하는 DeepSeek-V4 시리즈의 일부입니다. 이 모델은 최대 백만 개의 토큰에 이르는 광범위한 컨텍스트 길이를 처리하도록 설계되어 복잡한 언어 작업에 적합합니다. 하이브리드 주의 아키텍처는 압축 희소 주의(Compressed Sparse Attention, CSA)와 강력하게 압축된 주의(Heavily Compressed Attention, HCA)를 결합하여 장기 컨텍스트 효율성을 향상시킵니다. 또한, 이 모델은 계층 간 신호 전파 안정성을 개선하기 위해 다변량 제약 하이퍼 연결(manifold-constrained hyper-connections, mHC)을 통합합니다.
더 읽기
DeepSeek-V4-Pro-DSpark 모델은 32조 개 이상의 다양한 고품질 토큰으로 사전 훈련되며, 포괄적인 후속 훈련 파이프라인을 거칩니다. 이 파이프라인은 감독된 미세 조정(Supervised Fine-Tuning, SFT)과 유도 정책 최적화(Guided Policy Optimization, GRPO)를 통한 도메인별 전문가의 독립적인 배양을 포함하며, 이후 정책 기반 증류(on-policy distillation)를 통해 통합 모델을 통합합니다.
DeepSeek-V4-Pro-DSpark는 다양한 벤치마크에서 뛰어난 성능을 발휘하며, 코딩 및 추론 작업에서 최상위 성능을 달성합니다. 이 모델은 추론 및 에이전트 작업에서 선도적인 폐쇄형 모델과의 격차를 크게 줄입니다. 이 모델은 비사고(Non-think), 사고 고급(Think High), 사고 최대(Think Max)의 세 가지 추론 노력 모드를 지원하여 일상적인 작업부터 복잡한 문제 해결에 이르기까지 다양한 사용 사례에 맞춥니다.
이 모델은 Hugging Face 및 ModelScope와 같은 플랫폼에서 다운로드할 수 있으며, MIT 라이선스 하에 라이선스가 부여됩니다. 사용자는 모델 가중치 변환 및 대화형 채팅 데모를 포함한 추론 폴더에 제공된 자세한 지침에 따라 로컬에서 모델을 실행할 수 있습니다.
- 카테고리AI 모델 및 LLM
- 요금제무료
- 배포클라우드, 셀프 호스팅
- 플랫폼웹
DeepSeek-V4-Pro-DSpark 하이라이트
하이브리드 주의 아키텍처
다변량 제약 하이퍼 연결
뮤온 최적화기
백만 개 토큰 컨텍스트 길이
전문가 혼합 모델
오픈 소스
세 가지 추론 노력 모드
포괄적인 후속 훈련 파이프라인
DeepSeek-V4-Pro-DSpark 시작하기
모델 페이지 접근: Hugging Face 모델 페이지 방문
인증: Hugging Face 계정에 로그인
구성: 원하는 매개변수로 모델 설정
프롬프트 전송: 처리할 텍스트 프롬프트 입력
미세 조정: 특정 작업에 대한 모델 설정 조정
DeepSeek-V4-Pro-DSpark의 사용 사례
- 장기 컨텍스트 처리
- 복잡한 문제 해결
- 일상적인 작업
- 코딩 벤치마크
- 추론 작업
