描述
Ling-3.0-tiny 是由 inclusionAI 开发的轻量级混合推理模型,托管在 Hugging Face 上。它总共有 79 亿个参数,每个 token 仅激活 13 亿个参数,使其在本地和资源受限的部署中高效。该模型集成了 Kimi Delta Attention (KDA) 和 Multi-Head Latent Attention (MLA) 层的 3:1 交替堆叠,以及一个稀疏的专家混合 (MoE) 前馈网络 (FFN),由 128 个路由专家组成。这种架构使模型能够平衡长上下文建模能力、参数效率和计算成本。
阅读更多
Ling-3.0-tiny 旨在以低推理成本提供强大的推理和代理能力。它支持快速响应和多步骤推理,并具有可配置的思维模式。该模型在各种硬件上经过验证,包括 NVIDIA DGX Spark 和 Apple Silicon MacBook,能够在不需要数据中心级 GPU 的情况下实现强大的推理和代理工作负载。使用 FP8,它在 DGX Spark 上实现约 100-105 个 token 每秒,在 M4 Pro MacBook 上实现 86-90 个 token 每秒,8K 上下文长度下的峰值内存使用约为 8.34 GiB。
该模型的效率在人工分析智能指数 v4.1.1 上得到了体现,得分为 25,在人工分析代理指数上得分为 16。它的输出速度超过每秒 160 个 token,500 个 token 响应的端到端延迟约为 18 秒。Ling-3.0-tiny 适用于广泛的任务,包括代理任务、编码、长上下文理解、知识可靠性、数学和科学推理以及遵循指令。
- 类别AI 模型与大语言模型
- 定价模式免费增值
- 部署本地运行
- 平台网页版
Ling-3.0-tiny亮点
79 亿个总参数
每个 token 激活 13 亿个参数
混合推理能力
高效的本地部署
3:1 KDA-MLA 架构
具有 128 个专家的稀疏 MoE FFN
支持快速响应和多步骤推理
在 NVIDIA DGX Spark 和 Apple Silicon 上经过验证
Ling-3.0-tiny入门
访问模型页面:访问 Hugging Face
身份验证:登录到您的帐户
配置:设置模型参数
发送提示:使用模型进行推理
微调:调整特定任务的设置
Ling-3.0-tiny的使用案例
- 代理任务
- 编码
- 科学推理
- 遵循指令
- 本地部署









