Descrição
A Databricks apresenta o DBRX, um novo modelo de linguagem grande (LLM) aberto de ponta projetado para redefinir a eficiência e a qualidade em IA. O DBRX estabelece novos benchmarks para LLMs abertos, oferecendo capacidades anteriormente exclusivas de APIs de modelos fechados. Ele supera o GPT-3.5 e é competitivo com o Gemini 1.0 Pro, demonstrando força particular na geração de código, superando modelos especializados como o CodeLLaMA-70B.
O DBRX atinge seu desempenho avançado através de uma arquitetura de mistura de especialistas (MoE) de granularidade fina, permitindo inferência até 2x mais rápida que o LLaMA2-70B e um número significativamente menor de parâmetros ativos em comparação com modelos como o Grok-1. Quando hospedado no Databricks Model Serving, o DBRX pode atingir até 150 tokens por segundo por usuário. O treinamento de modelos MoE com a abordagem do DBRX também é aproximadamente 2x mais eficiente em FLOPs do que o treinamento de modelos densos para qualidade equivalente.
O modelo foi pré-treinado em 12 trilhões de tokens de dados de texto e código, utilizando um conjunto de dados cuidadosamente curado desenvolvido com ferramentas Databricks como Apache Spark e Unity Catalog. O DBRX emprega codificações de posição rotativa (RoPE), unidades lineares com portão (GLU) e atenção de consulta agrupada (GQA), com um comprimento de contexto máximo de 32.000 tokens. Tanto o modelo base (DBRX Base) quanto o modelo ajustado por instruções (DBRX Instruct) estão disponíveis no Hugging Face sob uma licença aberta.
O DBRX Instruct lidera em vários benchmarks, incluindo o Hugging Face Open LLM Leaderboard e o Databricks Model Gauntlet. Ele mostra desempenho excepcional em programação e matemática, superando modelos como Grok-1 e CodeLLaMA-70B em HumanEval e GSM8k. O DBRX Instruct também demonstra forte desempenho em tarefas de contexto longo e geração aumentada por recuperação (RAG), superando o GPT-3.5 Turbo em muitos cenários.
A Databricks oferece o DBRX através de suas APIs de Modelo de Fundação com preços pay-as-you-go e opções de throughput provisionado para aplicações de produção. Os clientes também podem hospedar o DBRX privadamente baixando-o do Databricks Marketplace e implantando-o no Model Serving. Este lançamento capacita as empresas a controlar seus dados e destino no cenário GenAI, fornecendo acesso a ferramentas de LLM poderosas e eficientes.
Destaques de DBRX LLM
LLM aberto de ponta
Arquitetura de mistura de especialistas (MoE)
132B parâmetros totais, 36B parâmetros ativos
Treinado em 12T tokens de texto e código
Janela de contexto de 32K tokens
Supera o GPT-3.5 em benchmarks
Competitivo com o Gemini 1.0 Pro
Forte desempenho em programação e matemática
Até 2x mais rápido em inferência que o LLaMA2-70B
Disponível no Hugging Face
Acessível via APIs de Modelo de Fundação Databricks
Suporta geração aumentada por recuperação (RAG)
Primeiros passos com DBRX LLM
Acessar Modelo: Utilize as APIs de Modelo de Fundação Databricks ou baixe do Hugging Face.
Autenticar: Configure as chaves de API ou credenciais de acesso necessárias.
Configurar Ambiente: Configure seu ambiente de desenvolvimento com as bibliotecas necessárias.
Integrar via API: Implemente chamadas de API para DBRX em suas aplicações.
Otimizar: Ajuste fino dos parâmetros do modelo ou utilize o Databricks Model Serving para desempenho.
Casos de uso de DBRX LLM
- Geração de Código
- Criação de Conteúdo
- Análise de Dados
- Respostas a Perguntas
- Sumarização
- Chatbots
- Assistência em Pesquisa
