DBRX LLM

DBRX atteint ses performances avancées grâce à une architecture fine de mélange d'experts (MoE), permettant une inférence jusqu'à 2 fois plus rapide que LLaMA2-70B et un nombre de paramètres actifs significativement plus faible par rapport à des modèles comme Grok-1. Hébergé sur Databricks Model Serving, DBRX peut atteindre jusqu'à 150 tokens par seconde par utilisateur. L'entraînement de modèles MoE avec l'approche de DBRX est également environ 2 fois plus efficace en termes de FLOPs que l'entraînement de modèles denses pour une qualité équivalente.

Le modèle a été pré-entraîné sur 12 billions de tokens de données textuelles et de code, utilisant un ensemble de données soigneusement sélectionné développé avec des outils Databricks comme Apache Spark et Unity Catalog. DBRX emploie des encodages de position rotatifs (RoPE), des unités linéaires à grille (GLU) et une attention à requêtes groupées (GQA), avec une longueur de contexte maximale de 32 000 tokens. Le modèle de base (DBRX Base) et le modèle ajusté pour les instructions (DBRX Instruct) sont disponibles sur Hugging Face sous une licence ouverte.

DBRX Instruct mène dans divers benchmarks, y compris le classement Hugging Face Open LLM Leaderboard et le Databricks Model Gauntlet. Il montre des performances exceptionnelles en programmation et en mathématiques, surpassant des modèles comme Grok-1 et CodeLLaMA-70B sur HumanEval et GSM8k. DBRX Instruct démontre également de solides performances sur des tâches à contexte long et la génération augmentée par récupération (RAG), surpassant GPT-3.5 Turbo dans de nombreux scénarios.

Databricks propose DBRX via ses API de modèles fondamentaux avec une tarification à l'usage et des options de débit provisionné pour les applications de production. Les clients peuvent également héberger DBRX en privé en le téléchargeant depuis le Databricks Marketplace et en le déployant sur Model Serving. Cette publication permet aux entreprises de contrôler leurs données et leur destin dans le paysage GenAI, en leur donnant accès à des outils LLM puissants et efficaces.