描述
Laguna S 2.1 是一个复杂的混合专家模型，专为自主编码和长时间工作而开发。它总共有 1180 亿个参数，每个令牌激活 80 亿个参数，属于 Laguna 系列，介于 Laguna XS 2.1 和 Laguna M.1 之间。该模型采用了一个令牌选择路由器，使用 softplus 门控技术，连接 256 个路由专家和一个共享专家，并结合了分组查询注意力和交错的全/滑动窗口注意力。
阅读更多
Laguna S 2.1 在 OpenMDW-1.1 许可证下发布，允许用户自由使用、修改和构建商业产品，无需获得许可。它针对软件工程任务进行了优化，提供原生推理支持和通过训练的 DFlash 草稿模型进行的推测解码。该模型支持量化变体，如 FP8、NVFP4、INT4 和 GGUF，减少了对大量硬件资源的需求。
Laguna S 2.1 采用混合的 SWA 和全局注意力布局，具有 48 层，全球与 SWA 的比例为 1:3。它提供了 1,048,576 令牌的上下文窗口，能够进行广泛的上下文管理。该模型的词汇表由 100,352 个令牌组成，使用 Laguna 家族的分词器进行文本到文本的模式。
基准测试结果表明，Laguna S 2.1 在各种评估中表现出色，包括 Terminal-Bench 2.1 和 SWE-bench 多语言。它与 vLLM、SGLang、TRT-LLM 和 llama.cpp 等引擎无缝集成，提供灵活的部署和使用。
Laguna S 2.1 专为软件工程和自主编码用例设计，受 Poolside 的可接受使用政策约束，确保负责任的应用。建议用户保持安全防护措施，并向 Poolside 报告任何安全漏洞。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
Laguna S 2.1亮点
1180 亿总参数
每个令牌 80 亿激活参数
混合专家模型
OpenMDW-1.1 许可证
1,048,576 令牌上下文窗口
使用 DFlash 进行推测解码
提供量化变体
原生推理支持
Laguna S 2.1入门
访问模型页面：访问 Hugging Face 网站
身份验证：登录您的账户
配置：设置模型参数和选项
发送提示：输入文本进行处理
微调：调整模型以适应特定任务
Laguna S 2.1的使用案例
- 自主编码
- 长时间任务
- 软件工程
- 商业产品开发
- 推测解码
