Beschreibung
Databricks stellt DBRX vor, ein neues, hochmodernes Open Large Language Model (LLM), das darauf ausgelegt ist, Effizienz und Qualität in der KI neu zu definieren. DBRX setzt neue Maßstäbe für Open LLMs und bietet Fähigkeiten, die bisher exklusiv proprietären APIs vorbehalten waren. Es übertrifft GPT-3.5 und ist wettbewerbsfähig mit Gemini 1.0 Pro, wobei es besondere Stärke bei der Code-Generierung zeigt und spezialisierte Modelle wie CodeLLaMA-70B übertrifft.
Weiterlesen
DBRX erreicht seine fortschrittliche Leistung durch eine fein granulierte Mixture-of-Experts (MoE)-Architektur, die eine bis zu 2x schnellere Inferenz als LLaMA2-70B und eine deutlich geringere Anzahl aktiver Parameter im Vergleich zu Modellen wie Grok-1 ermöglicht. Wenn DBRX auf Databricks Model Serving gehostet wird, kann es bis zu 150 Tokens pro Sekunde pro Benutzer erreichen. Das Training von MoE-Modellen mit dem Ansatz von DBRX ist zudem etwa 2x FLOP-effizienter als das Training von dichten Modellen bei gleicher Qualität.
Das Modell wurde auf 12 Billionen Tokens an Text- und Codedaten vortrainiert, wobei ein sorgfältig kuratierter Datensatz verwendet wurde, der mit Databricks-Tools wie Apache Spark und Unity Catalog entwickelt wurde. DBRX verwendet Rotary Position Encodings (RoPE), Gated Linear Units (GLU) und Grouped Query Attention (GQA) mit einer maximalen Kontextlänge von 32.000 Tokens. Sowohl das Basismodell (DBRX Base) als auch das instruktionsgetunte Modell (DBRX Instruct) sind unter einer offenen Lizenz auf Hugging Face verfügbar.
DBRX Instruct führt in verschiedenen Benchmarks, darunter die Hugging Face Open LLM Leaderboard und das Databricks Model Gauntlet. Es zeigt eine außergewöhnliche Leistung in den Bereichen Programmierung und Mathematik und übertrifft Modelle wie Grok-1 und CodeLLaMA-70B bei HumanEval und GSM8k. DBRX Instruct zeigt auch eine starke Leistung bei Aufgaben mit langem Kontext und Retrieval Augmented Generation (RAG) und übertrifft GPT-3.5 Turbo in vielen Szenarien.
Databricks bietet DBRX über seine Foundation Model APIs mit Pay-as-you-go-Preisen und Provisioned Throughput-Optionen für Produktionsanwendungen an. Kunden können DBRX auch privat hosten, indem sie es vom Databricks Marketplace herunterladen und auf Model Serving bereitstellen. Diese Veröffentlichung ermöglicht es Unternehmen, ihre Daten und ihr Schicksal in der GenAI-Landschaft zu kontrollieren und bietet Zugang zu leistungsstarken und effizienten LLM-Tools.
- KategorieKI-Modelle & LLMs
- PreismodellNutzungsbasiert
- BereitstellungCloud
- PlattformenWeb
DBRX LLM im Überblick
Hochmodernes Open LLM
Mixture-of-Experts (MoE)-Architektur
132B Gesamtparameter, 36B aktive Parameter
Trainiert auf 12 Billionen Tokens an Text und Code
32K Token Kontextfenster
Übertrifft GPT-3.5 in Benchmarks
Konkurrenzfähig mit Gemini 1.0 Pro
Starke Leistung in Programmierung und Mathematik
Bis zu 2x schnellere Inferenz als LLaMA2-70B
Verfügbar auf Hugging Face
Zugänglich über Databricks Foundation Model APIs
Unterstützt Retrieval Augmented Generation (RAG)
Erste Schritte mit DBRX LLM
Modellzugriff: Nutzen Sie die Databricks Foundation Model APIs oder laden Sie es von Hugging Face herunter.
Authentifizierung: Richten Sie die erforderlichen API-Schlüssel oder Zugriffsberechtigungen ein.
Umgebung einrichten: Konfigurieren Sie Ihre Entwicklungsumgebung mit den benötigten Bibliotheken.
Integration über API: Implementieren Sie API-Aufrufe für DBRX in Ihren Anwendungen.
Optimierung: Feinabstimmen Sie Modellparameter oder nutzen Sie Databricks Model Serving für die Leistung.
DBRX LLM's Anwendungsfälle
- Code-Generierung
- Content-Erstellung
- Datenanalyse
- Fragenbeantwortung
- Zusammenfassung
- Chatbots
- Forschungsunterstützung
