DBRX LLM

Description

Databricks présente DBRX, un nouveau grand modèle linguistique (LLM) ouvert de pointe conçu pour redéfinir l'efficacité et la qualité dans l'IA. DBRX établit de nouveaux standards pour les LLM ouverts, offrant des capacités auparavant exclusives aux API de modèles fermés. Il surpasse GPT-3.5 et est compétitif avec Gemini 1.0 Pro, démontrant une force particulière dans la génération de code, surpassant des modèles spécialisés comme CodeLLaMA-70B.

DBRX atteint ses performances avancées grâce à une architecture fine de mélange d'experts (MoE), permettant une inférence jusqu'à 2 fois plus rapide que LLaMA2-70B et un nombre de paramètres actifs significativement plus faible par rapport à des modèles comme Grok-1. Hébergé sur Databricks Model Serving, DBRX peut atteindre jusqu'à 150 tokens par seconde par utilisateur. L'entraînement de modèles MoE avec l'approche de DBRX est également environ 2 fois plus efficace en termes de FLOPs que l'entraînement de modèles denses pour une qualité équivalente.

Le modèle a été pré-entraîné sur 12 billions de tokens de données textuelles et de code, utilisant un ensemble de données soigneusement sélectionné développé avec des outils Databricks comme Apache Spark et Unity Catalog. DBRX emploie des encodages de position rotatifs (RoPE), des unités linéaires à grille (GLU) et une attention à requêtes groupées (GQA), avec une longueur de contexte maximale de 32 000 tokens. Le modèle de base (DBRX Base) et le modèle ajusté pour les instructions (DBRX Instruct) sont disponibles sur Hugging Face sous une licence ouverte.

DBRX Instruct mène dans divers benchmarks, y compris le classement Hugging Face Open LLM Leaderboard et le Databricks Model Gauntlet. Il montre des performances exceptionnelles en programmation et en mathématiques, surpassant des modèles comme Grok-1 et CodeLLaMA-70B sur HumanEval et GSM8k. DBRX Instruct démontre également de solides performances sur des tâches à contexte long et la génération augmentée par récupération (RAG), surpassant GPT-3.5 Turbo dans de nombreux scénarios.

Databricks propose DBRX via ses API de modèles fondamentaux avec une tarification à l'usage et des options de débit provisionné pour les applications de production. Les clients peuvent également héberger DBRX en privé en le téléchargeant depuis le Databricks Marketplace et en le déployant sur Model Serving. Cette publication permet aux entreprises de contrôler leurs données et leur destin dans le paysage GenAI, en leur donnant accès à des outils LLM puissants et efficaces.

Points forts de DBRX LLM

• LLM ouvert de pointe

• Architecture de mélange d'experts (MoE)

• 132 milliards de paramètres totaux, 36 milliards de paramètres actifs

• Entraîné sur 12 billions de tokens de texte et de code

• Fenêtre de contexte de 32K tokens

• Surpasse GPT-3.5 dans les benchmarks

• Compétitif avec Gemini 1.0 Pro

• Fortes performances en programmation et en mathématiques

• Jusqu'à 2x plus rapide en inférence que LLaMA2-70B

• Disponible sur Hugging Face

• Accessible via les API de modèles fondamentaux Databricks

• Prend en charge la génération augmentée par récupération (RAG)

Premiers pas avec DBRX LLM

1. 1

   Accéder au modèle : Utilisez les API de modèles fondamentaux Databricks ou téléchargez depuis Hugging Face.

2. 2

   Authentification : Configurez les clés API ou les identifiants d'accès nécessaires.

3. 3

   Configurer l'environnement : Configurez votre environnement de développement avec les bibliothèques requises.

4. 4

   Intégrer via API : Implémentez des appels API pour DBRX dans vos applications.

5. 5

   Optimiser : Ajustez les paramètres du modèle ou utilisez Databricks Model Serving pour les performances.

Cas d'utilisation de DBRX LLM

• Génération de code
• Création de contenu
• Analyse de données
• Réponse aux questions
• Synthèse
• Chatbots
• Assistance à la recherche

FAQ de DBRX LLM

• Qu'est-ce que DBRX ?

  DBRX est un grand modèle linguistique (LLM) ouvert et généraliste développé par Databricks, établissant un nouveau standard de pointe pour les LLM ouverts dans divers benchmarks.

• Comment DBRX se compare-t-il aux autres LLM ?

  DBRX surpasse GPT-3.5 et est compétitif avec Gemini 1.0 Pro. Il excelle également dans les tâches de programmation, surpassant des modèles spécialisés comme CodeLLaMA-70B.

• Qu'est-ce qui rend DBRX efficace ?

  DBRX utilise une architecture fine de mélange d'experts (MoE), qui améliore les performances d'entraînement et d'inférence, le rendant jusqu'à 2 fois plus rapide que LLaMA2-70B.

• Sur quel type de données DBRX a-t-il été entraîné ?

  DBRX a été pré-entraîné sur 12 billions de tokens de données textuelles et de code soigneusement sélectionnés.

• Quelle est la taille de la fenêtre de contexte de DBRX ?

  DBRX a une longueur de contexte maximale de 32 000 tokens.

• DBRX est-il disponible pour un usage commercial ?

  Oui, DBRX est disponible pour les clients Databricks via les API et peut être hébergé en privé. Les modèles de base et d'instruction sont également disponibles sur Hugging Face sous une licence ouverte.

• Quels sont les principaux atouts de DBRX ?

  Les principaux atouts de DBRX incluent ses performances de pointe en compréhension du langage, en programmation et en mathématiques, ainsi que son efficacité en entraînement et en inférence.

• DBRX peut-il être utilisé pour la génération de code ?

  Oui, DBRX est un modèle de code particulièrement performant, surpassant des modèles spécialisés comme CodeLLaMA-70B dans les tâches de programmation.

• Où puis-je accéder à DBRX ?

  DBRX est disponible via les API de modèles fondamentaux Databricks, et ses modèles de base et d'instruction peuvent être téléchargés depuis Hugging Face.

• Quel est le nombre de paramètres de DBRX ?

  DBRX compte 132 milliards de paramètres totaux, avec 36 milliards de paramètres actifs par entrée.