DBRX LLM

DBRX достигает своей передовой производительности благодаря архитектуре Mixture-of-Experts (MoE) с детальным разделением, что обеспечивает до 2 раз более быструю инференцию по сравнению с LLaMA2-70B и значительно меньшее количество активных параметров по сравнению с такими моделями, как Grok-1. При размещении на Databricks Model Serving DBRX может достигать до 150 токенов в секунду на пользователя. Обучение моделей MoE с использованием подхода DBRX также примерно в 2 раза более эффективно по FLOP по сравнению с обучением плотных моделей при эквивалентном качестве.

Модель была предварительно обучена на 12 триллионах токенов текстовых и кодовых данных, используя тщательно отобранный набор данных, разработанный с помощью инструментов Databricks, таких как Apache Spark и Unity Catalog. DBRX использует роторные позиционные кодировки (RoPE), вентильные линейные блоки (GLU) и группированное внимание к запросам (GQA) с максимальной длиной контекста в 32 000 токенов. Как базовая модель (DBRX Base), так и модель, настроенная на инструкции (DBRX Instruct), доступны на Hugging Face под открытой лицензией.

DBRX Instruct лидирует в различных бенчмарках, включая Hugging Face Open LLM Leaderboard и Databricks Model Gauntlet. Она демонстрирует исключительную производительность в программировании и математике, превосходя модели, такие как Grok-1 и CodeLLaMA-70B, на HumanEval и GSM8k. DBRX Instruct также демонстрирует высокую производительность в задачах с длинным контекстом и генерации с дополненным поиском (RAG), во многих сценариях превосходя GPT-3.5 Turbo.

Databricks предлагает DBRX через свои Foundation Model API с оплатой по мере использования и опциями выделенной пропускной способности для производственных приложений. Клиенты также могут размещать DBRX приватно, загрузив его из Databricks Marketplace и развернув на Model Serving. Этот выпуск позволяет предприятиям контролировать свои данные и свою судьбу в ландшафте GenAI, предоставляя доступ к мощным и эффективным инструментам LLM.