描述
NVIDIA Nemotron 3.5 Bolt 74B 是一款复杂的大型语言模型，结合了 Mamba-2–Transformer 混合架构和 C-RADIO v4-H 视觉编码器。它拥有总计 740 亿个参数，其中 90 亿个为活跃参数，并以 BF16 精度运行以实现全精度权重。该模型可以处理长达 256K 令牌的上下文长度，支持文本、图像和视频输入，并生成文本输出。它部署在 NVIDIA 的 Ampere、Hopper 或 Blackwell 硬件上，利用 vLLM 实现高效操作。
阅读更多
该模型通过 LiLiCorr 草拟器优化了推测解码，使用 DFlash 生成提供的 vLLM 配方中的七个推测令牌。它具有推理模式，配备聊天模板控制，继承自 Super 3.5 VL 客户端，最适合于定制、后训练和为本地代理任务创建量化变体。文本的推荐采样设置为温度 1.0 和 top_p 0.95。
NVIDIA Nemotron 3.5 Bolt 74B 在 OpenMDW-1.1 许可下发布，确保进一步开发和集成的开放访问。该模型已在包括 GDPVal-AA-V2、Terminal-Bench 2.1 等各种测试中进行了基准测试，展示了竞争力的性能指标。它在需要多轮工具交互的任务中尤其有效，并在 MCP 使用能力方面显示出改进。
训练方法涉及多个代理环境，全面 E2E GRPO 针对 MCP 和 SWE 任务。该模型的基础建立在 Nemotron 3 语料库上，包括 Nemotron-CC-v2 和 Nemotron-Pretraining-Code-v1 等数据集。NVIDIA 确保在训练中未使用任何用户来源的数据，维护隐私和数据完整性。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署NVIDIA Ampere, Hopper, Blackwell
- 平台网页版
NVIDIA Nemotron 3.5 Bolt 74B亮点
Mamba-2–Transformer 混合架构
C-RADIO v4-H 视觉编码器
740 亿参数
BF16 精度
上下文长度高达 256K 令牌
使用 LiLiCorr 草拟器的推测解码
带聊天模板控制的推理模式
OpenMDW-1.1 许可
NVIDIA Nemotron 3.5 Bolt 74B入门
访问模型页面：访问 NVIDIA Nemotron 3.5 Bolt 74B 的 Hugging Face 模型页面。
身份验证：确保您拥有访问模型所需的凭据。
配置：根据您的需求设置模型参数和环境。
发送提示：输入文本、图像或视频数据以供模型处理。
微调：根据特定任务或应用定制模型。
NVIDIA Nemotron 3.5 Bolt 74B的使用案例
- 定制
- 后训练
- 量化变体
- 多轮交互
- 文本处理
