描述
NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 是 NVIDIA 开发的一款复杂的大型语言模型。它采用了混合架构，结合了 MoE、Mamba-2 和注意力机制，总参数量达到 300 亿，其中 30 亿为活跃参数。该模型以 BF16 精度运行，确保在处理任务时具有高准确性。它在单个 H100 GPU 上支持最长达 100 万个标记的上下文长度，适合处理大量数据输入。
阅读更多
该模型设计为高度可定制，支持监督微调、强化学习和蒸馏等后训练技术。这种灵活性使用户能够将模型适应于特定领域，创建量化变体，并在全精度下进行研究和评估。NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 特别适合需要广泛推理和复杂数据处理的任务。
该模型支持多种语言，包括英语、西班牙语、法语、德语、意大利语和日语，以及各种编程语言。它针对 NVIDIA 硬件进行了优化，包括 Blackwell、Hopper 和 Ampere 系列 GPU。该模型还包括用于低并发数据中心部署的推测解码能力，提高了其在特定用例中的效率。
根据 OpenMDW 许可证协议版本 1.1 发布，NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 可供全球部署。它非常适合希望利用先进 AI 能力进行定制、领域适应和高精度研究的组织。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
NVIDIA Nemotron 3.5 Lightning 30B A3B BF16亮点
300 亿参数
BF16 精度
MoE、Mamba-2 和注意力混合架构
支持最多 100 万个标记
可定制的后训练
支持多种语言
针对 NVIDIA 硬件进行了优化
推测解码能力
NVIDIA Nemotron 3.5 Lightning 30B A3B BF16入门
访问模型页面：访问 Hugging Face 模型页面
身份验证：登录您的 Hugging Face 账户
配置：根据所需参数设置模型
发送提示：输入数据进行处理
微调：为特定任务定制模型
NVIDIA Nemotron 3.5 Lightning 30B A3B BF16的使用案例
- 领域适应
- 研究与评估
- 定制化
- 多语言支持
- 推测解码
