描述
SenseNova-Loop-9B-Preview 是一个先进的多模态语言模型,专为处理复杂的长上下文场景和代理工作流而设计。由 SenseNova 开发,该模型能够接受文本和图像输入,并随后生成文本输出。其主要应用领域包括全面的文档理解、复杂的编码任务以及与各种外部工具的无缝交互。
阅读更多
SenseNova-Loop-9B-Preview 架构的核心在于其创新的循环解码器和双流流形约束超连接(mHC)的组合。这种设计允许一组解码器层使用共享权重执行两次,从而显著加深执行路径而不重复参数。mHC 系统中的学习映射有效管理循环部分两个残差流之间的信息流,增强了模型处理和合成信息的能力。
该模型的训练配方包含长序列、多样的多模态输入和监督任务轨迹,最大训练序列长度达到 262,144 个标记。这种广泛的训练使模型在各种复杂任务中表现出色。为了实现最佳操作,建议用户使用文档中记录的部署环境和配置参数。
架构的主要亮点包括一个共享的循环块,其中 24 个解码器层被应用两次,从而仅用 32 个不同的层实现 56 次解码器层的执行。双流 mHC 促进了残差流之间信息的智能路由和组合。此外,解码器采用混合注意机制,在重复的四层模式中交错线性和全注意,这一模式在循环传递中得以保留。该模型还支持 MTP 以加速推理,目前 Dspark 和 Dflash2 正在开发中,以进一步提升速度。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
SenseNova-Loop-9B-Preview亮点
多模态输入:接受文本和图像
文本生成:生成文本输出
循环解码器架构:使用共享权重两次执行解码器层
双流流形约束超连接(mHC):管理残差流之间的信息流
长上下文处理:支持最大训练序列长度达到 262,144 个标记
代理工作流支持:设计用于与外部工具交互
混合注意:交错线性和全注意层
参数效率:从 32 个不同层中实现 56 次解码器层的执行
文档理解:能够处理复杂文档
编码应用:支持与代码相关的任务
MTP 推理加速:可用于更快的处理
微调支持:提供文档化的训练配方以进行定制
Apache 许可证 2.0:开放源代码许可,用于使用和修改
Hugging Face 集成:可在 Hugging Face 上下载和部署
SenseNova-Loop-9B-Preview入门
访问模型页面:导航到 Hugging Face 上的 SenseNova-Loop-9B-Preview 页面。
安装依赖项:安装与您的 CUDA 环境兼容的 PyTorch,然后安装 Transformers 5.18.0 和 PyTorch 2.11.0。
加载模型:使用 Transformers 库从 Hugging Face 仓库或本地目录加载模型及其自定义实现。
配置推理:将 `model_id` 设置为仓库 ID 或本地路径,并配置 `enable_thinking` 和 `device` 等参数。
生成文本:运行提供的 Python 示例以执行文本生成,指定新标记的数量。
微调模型:使用文档化的训练命令在单个节点上使用 8 个 GPU 对您的 SFT 数据集进行微调。
部署模型:通过在提供的示例中替换本地模型路径,利用 LightLLM 或 SGLang 等部署选项。
SenseNova-Loop-9B-Preview的使用案例
- 长上下文文档理解
- 代理工作流自动化
- 多模态内容生成
- 高级编码辅助
- PPT 设计自动化
- 运动设计文本生成
- 数据分析报告
- 多模态研发







