描述
Databricks 推出了 DBRX，这是一款新的、最先进的开源大型语言模型 (LLM)，旨在重新定义 AI 的效率和质量。DBRX 为开源 LLM 设定了新的基准，提供了以前仅限于闭源模型 API 的功能。它超越了 GPT-3.5，并与 Gemini 1.0 Pro 具有竞争力，在代码生成方面表现尤为突出，优于 CodeLLaMA-70B 等专用模型。
阅读更多
DBRX 通过细粒度的专家混合 (MoE) 架构实现了其先进的性能，与 LLaMA2-70B 相比，推理速度提高了 2 倍，并且与 Grok-1 等模型相比，活动的参数数量显著减少。当托管在 Databricks Model Serving 上时，DBRX 每位用户每秒可实现高达 150 个 token 的吞吐量。使用 DBRX 的方法训练 MoE 模型，在达到同等质量的情况下，其 FLOP 效率也比训练密集模型高约 2 倍。
该模型在 12 万亿个 token 的文本和代码数据上进行了预训练，使用了使用 Databricks 工具（如 Apache Spark 和 Unity Catalog）开发的精心策划的数据集。DBRX 采用了旋转位置编码 (RoPE)、门控线性单元 (GLU) 和分组查询注意力 (GQA)，最大上下文长度为 32,000 个 token。基础模型 (DBRX Base) 和指令微调模型 (DBRX Instruct) 都可以在 Hugging Face 上以开源许可证的形式获得。
DBRX Instruct 在各种基准测试中处于领先地位，包括 Hugging Face Open LLM Leaderboard 和 Databricks Model Gauntlet。它在编程和数学方面表现出色，在 HumanEval 和 GSM8k 上得分高于 Grok-1 和 CodeLLaMA-70B 等模型。DBRX Instruct 在长上下文任务和检索增强生成 (RAG) 方面也表现强劲，在许多场景下优于 GPT-3.5 Turbo。
Databricks 通过其 Foundation Model API 提供 DBRX，提供即用即付定价和预留吞吐量选项，适用于生产应用程序。客户还可以通过从 Databricks Marketplace 下载 DBRX 并将其部署在 Model Serving 上来私有托管 DBRX。此发布使企业能够控制其在 GenAI 领域的数据和命运，提供对强大且高效的 LLM 工具的访问。
- 类别AI 模型与大语言模型
- 定价模式按用量计费
- 部署云端
- 平台网页版
DBRX LLM亮点
最先进的开源 LLM
专家混合 (MoE) 架构
总参数 132B，活动参数 36B
在 12T token 的文本和代码上训练
32K token 上下文窗口
在基准测试中超越 GPT-3.5
与 Gemini 1.0 Pro 竞争
在编程和数学方面表现强劲
推理速度比 LLaMA2-70B 快 2 倍
可在 Hugging Face 上获取
可通过 Databricks Foundation Model API 访问
支持检索增强生成 (RAG)
DBRX LLM入门
访问模型：使用 Databricks Foundation Model API 或从 Hugging Face 下载。
身份验证：设置必要的 API 密钥或访问凭证。
设置环境：使用所需的库配置您的开发环境。
通过 API 集成：在您的应用程序中实现 DBRX 的 API 调用。
优化：微调模型参数或利用 Databricks Model Serving 提高性能。
DBRX LLM的使用案例
- 代码生成
- 内容创作
- 数据分析
- 问答
- 摘要
- 聊天机器人
- 研究助手
