Descripción
DeepSeek-V3 es un modelo de lenguaje grande lanzado por DeepSeek AI como una arquitectura Mixture-of-Experts (MoE): 671 mil millones de parámetros en total, con solo 37 mil millones activados para cualquier token dado, lo que mantiene la inferencia más económica que ejecutar el conteo completo de parámetros en cada solicitud. Se basa en la arquitectura introducida en DeepSeek-V2, continuando con la Atención Latente Multi-cabeza y el diseño DeepSeekMoE, y añade una estrategia de balanceo de carga sin pérdida auxiliar entre expertos, que el equipo afirma reduce el costo de rendimiento que generalmente viene con el balanceo de carga.
Leer más
El entrenamiento utilizó 14.8 billones de tokens de datos de preentrenamiento, seguido de etapas de ajuste fino supervisado y aprendizaje por refuerzo. DeepSeek informa que la ejecución completa de preentrenamiento costó aproximadamente 2.664 millones de horas GPU H800, con etapas de entrenamiento posteriores que añadieron solo alrededor de 0.1 millones más, para un total de aproximadamente 2.788 millones de horas GPU, y describe el proceso de entrenamiento como estable, sin picos de pérdida irrecuperables o retrocesos. Parte de esa eficiencia proviene de un marco de entrenamiento de precisión mixta FP8 que el equipo validó a esta escala, junto con trabajo de ingeniería para reducir la sobrecarga de comunicación entre nodos GPU durante el entrenamiento de Mixture-of-Experts. Un paso de destilación posterior al entrenamiento extrae el comportamiento de razonamiento de DeepSeek-R1, un modelo de cadena de pensamiento largo en la línea de productos de DeepSeek, en DeepSeek-V3, con el objetivo de mejorar su razonamiento mientras se mantiene controlado su estilo de salida.
DeepSeek-V3 soporta una longitud de contexto de 128K y, en los benchmarks que DeepSeek publica, rinde de manera comparable a los modelos cerrados líderes mientras supera a otros modelos de código abierto con los que se compara. El modelo y su punto de control base, DeepSeek-V3-Base, son descargables desde Hugging Face.
Para quienes no desean autoalojarse, DeepSeek opera un sitio web de chat donde el modelo puede ser utilizado directamente. Para el autoalojamiento, DeepSeek-V3 es compatible con varios motores de inferencia de código abierto, incluyendo SGLang, vLLM, LMDeploy y TensorRT-LLM, siendo SGLang también capaz de habilitar el despliegue en GPUs AMD. Ejecutar el script de inferencia de demostración localmente requiere un sistema Linux con Python 3.10 (Mac y Windows no son compatibles para ese camino) y, para el modelo completo, suficiente memoria GPU combinada en múltiples máquinas para contener 671 mil millones de parámetros. El código se lanza bajo la licencia MIT, mientras que los pesos del modelo tienen un acuerdo de licencia de modelo separado. Este es un modelo para desarrolladores e investigadores con la infraestructura para servir un gran modelo de peso abierto, no una aplicación de consumo lista para usar.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónAutoalojado
- PlataformasLinux
Características principales de DeepSeek-V3
Modelo Mixture-of-Experts de 671B parámetros con 37B parámetros activados por token
Atención Latente Multi-cabeza y arquitectura DeepSeekMoE trasladadas y refinadas de DeepSeek-V2
Estrategia de balanceo de carga sin pérdida auxiliar entre expertos
Objetivo de entrenamiento de predicción multi-token, también utilizable para decodificación especulativa en inferencia
Marco de entrenamiento de precisión mixta FP8 validado a gran escala
Longitud de contexto de 128K
Destilación posterior al entrenamiento del comportamiento de razonamiento de DeepSeek-R1 en el modelo base
Soportado por principales motores de inferencia de código abierto: SGLang, vLLM, LMDeploy y TensorRT-LLM, además de GPUs AMD a través de SGLang
Primeros pasos con DeepSeek-V3
Prueba en línea: Chatea con DeepSeek-V3 en el sitio web de chat de DeepSeek sin instalar nada
Descarga los pesos: Obtén DeepSeek-V3 o DeepSeek-V3-Base desde Hugging Face
Elige un motor de inferencia: Selecciona SGLang, vLLM, LMDeploy o TensorRT-LLM según tu hardware
Convierte los pesos si es necesario: Ejecuta el script de conversión proporcionado para la ruta de inferencia de demostración
Ejecuta el modelo: Lanza la inferencia en suficientes GPUs y, para el modelo completo, en múltiples nodos
Casos de uso de DeepSeek-V3
- Despliegue de LLM autoalojado
- Investigación de arquitectura MoE
- Servicio de inferencia de alto rendimiento
