跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

ERNIE-5.5-Flash-Base-BF16

ERNIE-5.5-Flash-Base-BF16 是一个高效的稀疏专家混合模型(MoE)语言模型,具有 2800 亿个总参数。该模型在 33.5 万亿个标记上进行了预训练,支持 100 万标记的上下文进行微调和推理。该模型旨在用于各种应用,包括领域适应、指令调优和强化学习研究,在多个基准测试中表现出色。

访问URL
分享
ERNIE-5.5-Flash-Base-BF16 截图
ERNIE-5.5-Flash-Base-BF16 截图

ERNIE-5.5-Flash-Base-BF16 是百度开发的一个复杂的稀疏专家混合模型(MoE)语言模型。它具有 2800 亿个总参数,每个标记激活 140 亿个参数,使其在复杂语言任务中具有高度的效率。该模型在一个广泛的数据集上从零开始进行了预训练,数据集包含 33.5 万亿个标记,训练上下文可达 128,000 个标记。对于微调和推理,它支持高达 100 万标记的上下文长度,使其能够深入理解和生成长篇内容。

阅读更多

ERNIE 5.5 Flash 以效率为核心原则,重新审视了每个组件,从注意力机制和残差连接到 MoE 层和输出头。这种整体方法确保了在管理计算、KV 缓存和长上下文成本的同时实现最佳性能。预训练数据强调了对高级应用至关重要的能力,例如库规模的代码理解和长上下文理解,使开发人员能够在其通用能力的基础上构建多样化的用例。

ERNIE-5.5-Flash-Base-BF16 代表了预训练结束时的检查点,作为任何中期或后期训练阶段之前的基础模型。这使其成为从事领域适应、指令调优和强化学习的研究人员和开发人员的理想起点。该模型在统一评估管道中表现出色,在知识、推理、数学、代码、多语言任务和长上下文理解等相关基准测试中表现优异。

该架构包含一个 280B-A14B 混合注意力 MoE,具有 43 层,包括 1 层密集 FFN 和 42 层多路由潜在 MoE 层。它具有 37 层重压缩注意力(HCA)层和 6 层多头潜在注意力(MLA + DSA)层,采用稀疏注意力。该模型在每个 MoE 层中利用 512 个路由专家(前 10)加 1 个共享专家。低秩门控注意力、虚拟头注意力(VHA)、多路由潜在 MoE、ECHO、流形约束超连接(mHC)和 MultiMax 输出头等创新为其先进的能力和效率做出了贡献。分词器支持大约 200,000 个条目,并以每组最多三位数字的方式从右到左对数字进行分词。

部署支持 SGLang 和 vLLM,允许在生产环境中提供高达 1,048,576 个标记的上下文长度。该模型根据 ERNIE 5.5 Flash Base 模型许可协议 v1.0 提供。

  • 类别AI 模型与大语言模型
  • 部署云端
  • 平台网页版

  • 2800 亿个总参数

  • 每个标记激活 140 亿个参数

  • 在 33.5 万亿个标记上进行预训练

  • 训练上下文可达 128,000 个标记

  • 微调和推理支持 100 万标记的上下文

  • 高效的稀疏专家混合模型(MoE)架构

  • 具有 43 层的混合注意力 MoE

  • 37 层重压缩注意力(HCA)层

  • 6 层多头潜在注意力(MLA + DSA)层

  • 每个 MoE 层 512 个路由专家(前 10)加 1 个共享专家

  • 低秩门控注意力和虚拟头注意力(VHA)

  • 多路由潜在 MoE 以实现准确的专家选择

  • ECHO 用于多视角损失和推测解码

  • 流形约束超连接(mHC)用于信号传播

  • MultiMax 输出头用于优化词汇分布

  • 约 200,000 条目的 BPE 分词器

  • 支持 SGLang 和 vLLM 进行生产服务

  1. 访问模型页面:导航到 Hugging Face 上的 ERNIE-5.5-Flash-Base-BF16 页面。

  2. 浏览文件:查看页面上可用的模型文件和文档。

  3. 下载模型:下载 ERNIE-5.5-Flash-Base-BF16 模型检查点。

  4. 安装 vLLM 和插件:安装 vLLM 和 ERNIE 5.5 插件以进行部署。

  5. 启动服务器:使用 SGLang 或 vLLM 启动模型服务器。

  6. 发送请求:使用 curl 等工具向完成端点发送请求以进行推理。

  • 文本生成
  • 领域适应
  • 指令调优
  • 强化学习研究
  • 代码理解
  • 长上下文理解
  • 多语言应用
  • 推理任务
  • 代理应用

Baidu 旗下产品

百度文心助手 中的模型。

ERNIE-5.5-Flash-Base-BF16 评价

加载中...

与 ERNIE-5.5-Flash-Base-BF16 类似的热门AI工具

ERNIE-5.5-Flash-Base

大语言模型

ERNIE-5.5-Flash-Base 是一个高效的稀疏专家混合模型(MoE)语言模型,具有 2800 亿个参数,旨在进行文本生成。该模型在 33.5 万亿个标记上进行预训练,支持 100 万标记的上下文进行微调和推理。该模型为领域适应、指令调优和强化学习研究提供了强大的起点,在各种基准测试中表现出色。

AI 模型与大语言模型
查看工具

大语言模型

高效的稀疏专家混合模型(MoE)语言模型,具有 2800 亿个参数,旨在进行文本生成。该模型在 33.5 万亿个标记上进行预训练,支持 100 万标记的上下文进行微调和推理。该模型为领域适应、指令调优和强化学习研究提供了强大的起点,在各种基准测试中表现出色。ERNIE-5.5-Flash-Base 是一个高效的稀疏专家混合模型(MoE)语言模型,具有 2800 亿个参数,旨在进行文本生成。该模型在 33.5 万亿个标记上进行预训练,支持 100 万标记的上下文进行微调和推理。该模型为领域适应、指令调优和强化学习研究提供了强大的起点,在各种基准测试中表现出色。

AI 模型与大语言模型
查看 大语言模型 Top 100

DeepSeek-V4-Pro

大语言模型

DeepSeek-V4-Pro是一个先进的AI模型,旨在实现高效的百万标记上下文智能。它具有混合注意力架构,并在超过32万亿个标记上进行了预训练,适用于复杂推理任务和编码基准。

AI 模型与大语言模型
查看工具

大语言模型

先进的AI模型,旨在实现高效的百万标记上下文智能。它具有混合注意力架构,并在超过32万亿个标记上进行了预训练,适用于复杂推理任务和编码基准。DeepSeek-V4-Pro是一个先进的AI模型,旨在实现高效的百万标记上下文智能。它具有混合注意力架构,并在超过32万亿个标记上进行了预训练,适用于复杂推理任务和编码基准。

精选AI 模型与大语言模型
查看 大语言模型 Top 100

DeepSeek-V3

大语言模型

DeepSeek-V3 是一个具有 6710 亿参数的专家混合语言模型,旨在实现高效推理和经济实惠的训练。它在各种基准测试中表现出色,展示了在自然语言处理任务中的强大性能。

AI 模型与大语言模型

大语言模型 排名第 42 位

查看工具

大语言模型

具有 6710 亿参数的专家混合语言模型,旨在实现高效推理和经济实惠的训练。它在各种基准测试中表现出色,展示了在自然语言处理任务中的强大性能。DeepSeek-V3 是一个具有 6710 亿参数的专家混合语言模型,旨在实现高效推理和经济实惠的训练。它在各种基准测试中表现出色,展示了在自然语言处理任务中的强大性能。

精选AI 模型与大语言模型
大语言模型 排名第 42 位

DeepSeek-V4-Pro-DSpark

大语言模型

DeepSeek-V4-Pro-DSpark 是一款先进的语言模型,具有混合注意力架构和多样约束超连接。它支持一百万个标记的上下文长度,并针对高效的长上下文处理进行了优化。

AI 模型与大语言模型

大语言模型 排名第 71 位

查看工具

大语言模型

先进的语言模型,具有混合注意力架构和多样约束超连接。它支持一百万个标记的上下文长度,并针对高效的长上下文处理进行了优化。DeepSeek-V4-Pro-DSpark 是一款先进的语言模型,具有混合注意力架构和多样约束超连接。它支持一百万个标记的上下文长度,并针对高效的长上下文处理进行了优化。

AI 模型与大语言模型
大语言模型 排名第 71 位

AliceAI-Foundation-80B-A3B-Base 是一个具有混合架构和 MoE 层的基础语言模型,拥有 800 亿个参数。它在事实知识任务中表现出色,尤其是在俄语方面,并支持最长 262,144 个标记的上下文长度。

AI 模型与大语言模型

大语言模型 排名第 29 位

查看工具

具有混合架构和 MoE 层的基础语言模型,拥有 800 亿个参数。它在事实知识任务中表现出色,尤其是在俄语方面,并支持最长 262,144 个标记的上下文长度。AliceAI-Foundation-80B-A3B-Base 是一个具有混合架构和 MoE 层的基础语言模型,拥有 800 亿个参数。它在事实知识任务中表现出色,尤其是在俄语方面,并支持最长 262,144 个标记的上下文长度。

AI 模型与大语言模型
大语言模型 排名第 29 位

Ling-3.0-flash

大语言模型

Ling-3.0-flash 是一款为效率和性能而设计的下一代混合推理模型。它拥有 1240 亿个参数,在推理、指令跟随和长文本理解方面表现出色,非常适合复杂的工作流程。

AI 模型与大语言模型

大语言模型 排名第 65 位

查看工具

大语言模型

为效率和性能而设计的下一代混合推理模型。它拥有 1240 亿个参数,在推理、指令跟随和长文本理解方面表现出色,非常适合复杂的工作流程。Ling-3.0-flash 是一款为效率和性能而设计的下一代混合推理模型。它拥有 1240 亿个参数,在推理、指令跟随和长文本理解方面表现出色,非常适合复杂的工作流程。

AI 模型与大语言模型
大语言模型 排名第 65 位

DeepSeek-V3

AI GitHub 仓库

DeepSeek-V3 是 DeepSeek 发布的开放权重混合专家语言模型,拥有 6710 亿个参数,总共每个令牌激活 370 亿个参数。该模型在 14.8 万亿个令牌上进行预训练,具有 128K 的上下文长度,代码和权重已在 GitHub 和 Hugging Face 上发布,供自托管或通过 DeepSeek 的聊天网站使用。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

DeepSeek 发布的开放权重混合专家语言模型,拥有 6710 亿个参数,总共每个令牌激活 370 亿个参数。该模型在 14.8 万亿个令牌上进行预训练,具有 128K 的上下文长度,代码和权重已在 GitHub 和 Hugging Face 上发布,供自托管或通过 DeepSeek 的聊天网站使用。DeepSeek-V3 是 DeepSeek 发布的开放权重混合专家语言模型,拥有 6710 亿个参数,总共每个令牌激活 370 亿个参数。该模型在 14.8 万亿个令牌上进行预训练,具有 128K 的上下文长度,代码和权重已在 GitHub 和 Hugging Face 上发布,供自托管或通过 DeepSeek 的聊天网站使用。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

Kimi-K2-Instruct 是一款先进的混合专家语言模型,专为高级人工智能任务而设计。它在推理、编码和工具使用方面表现出色,提供了32亿激活参数的强大性能。

AI 模型与大语言模型

大语言模型 排名第 51 位

查看工具

先进的混合专家语言模型,专为高级人工智能任务而设计。它在推理、编码和工具使用方面表现出色,提供了32亿激活参数的强大性能。Kimi-K2-Instruct 是一款先进的混合专家语言模型,专为高级人工智能任务而设计。它在推理、编码和工具使用方面表现出色,提供了32亿激活参数的强大性能。

AI 模型与大语言模型
大语言模型 排名第 51 位
1/8