Descripción
Databricks presenta DBRX, un nuevo modelo de lenguaje grande (LLM) abierto de vanguardia diseñado para redefinir la eficiencia y la calidad en la IA. DBRX establece nuevos benchmarks para LLMs abiertos, ofreciendo capacidades previamente exclusivas de las APIs de modelos cerrados. Supera a GPT-3.5 y es competitivo con Gemini 1.0 Pro, demostrando una fortaleza particular en la generación de código, superando a modelos especializados como CodeLLaMA-70B.
DBRX logra su rendimiento avanzado a través de una arquitectura de mezcla de expertos (MoE) de grano fino, que permite una inferencia hasta 2 veces más rápida que LLaMA2-70B y un recuento de parámetros activos significativamente menor en comparación con modelos como Grok-1. Cuando se aloja en Databricks Model Serving, DBRX puede alcanzar hasta 150 tokens por segundo por usuario. Entrenar modelos MoE con el enfoque de DBRX también es aproximadamente 2 veces más eficiente en FLOPs que entrenar modelos densos para una calidad equivalente.
El modelo fue pre-entrenado con 12 billones de tokens de datos de texto y código, utilizando un conjunto de datos cuidadosamente curado desarrollado con herramientas de Databricks como Apache Spark y Unity Catalog. DBRX emplea codificaciones de posición rotatoria (RoPE), unidades lineales con puerta (GLU) y atención de consulta agrupada (GQA), con una longitud de contexto máxima de 32,000 tokens. Tanto el modelo base (DBRX Base) como el modelo ajustado a instrucciones (DBRX Instruct) están disponibles en Hugging Face bajo una licencia abierta.
DBRX Instruct lidera en varios benchmarks, incluyendo la Tabla de Clasificación de LLMs Abiertos de Hugging Face y el Gauntlet de Modelos de Databricks. Muestra un rendimiento excepcional en programación y matemáticas, superando a modelos como Grok-1 y CodeLLaMA-70B en HumanEval y GSM8k. DBRX Instruct también demuestra un sólido rendimiento en tareas de contexto largo y generación aumentada por recuperación (RAG), superando a GPT-3.5 Turbo en muchos escenarios.
Databricks ofrece DBRX a través de sus APIs de Modelos Fundacionales con precios de pago por uso y opciones de rendimiento aprovisionado para aplicaciones de producción. Los clientes también pueden alojar DBRX de forma privada descargándolo del Databricks Marketplace y desplegándolo en Model Serving. Este lanzamiento permite a las empresas controlar sus datos y su destino en el panorama de GenAI, proporcionando acceso a herramientas LLM potentes y eficientes.
Aspectos destacados de DBRX LLM
LLM abierto de vanguardia
Arquitectura de mezcla de expertos (MoE)
132B parámetros totales, 36B parámetros activos
Entrenado con 12T tokens de texto y código
Ventana de contexto de 32K tokens
Supera a GPT-3.5 en benchmarks
Competitivo con Gemini 1.0 Pro
Sólido rendimiento en programación y matemáticas
Hasta 2 veces más rápido en inferencia que LLaMA2-70B
Disponible en Hugging Face
Accesible a través de las APIs de Modelos Fundacionales de Databricks
Soporta generación aumentada por recuperación (RAG)
Primeros pasos con DBRX LLM
Acceso al Modelo: Utilice las APIs de Modelos Fundacionales de Databricks o descargue desde Hugging Face.
Autenticación: Configure las claves API o credenciales de acceso necesarias.
Configurar Entorno: Configure su entorno de desarrollo con las bibliotecas requeridas.
Integrar vía API: Implemente llamadas API para DBRX en sus aplicaciones.
Optimizar: Ajuste fino de los parámetros del modelo o aproveche Databricks Model Serving para el rendimiento.
Casos de uso de DBRX LLM
- Generación de Código
- Creación de Contenido
- Análisis de Datos
- Respuesta a Preguntas
- Resumen
- Chatbots
- Asistencia en Investigación
