描述
Inkling-Small 是一个通用的多模态模型,旨在处理文本、图像和音频输入,生成文本输出。它适用于英语和其他语言,并支持多种编程语言。开发人员可以利用 Inkling-Small 构建 AI 驱动的应用程序,如聊天机器人、编码助手和检索增强生成系统。该模型以开放权重发布,允许进行研究、微调和集成到第三方产品中。
阅读更多
该模型架构为 42 层仅解码器的变换器,具有稀疏的专家混合前馈骨干网。每个令牌被路由到 256 个专家中的 6 个,以及每个令牌上活动的 2 个共享专家。它具有结合局部和全局层的混合注意机制。Inkling-Small 本质上是多模态的,通过分层补丁编码器对图像进行编码,通过离散令牌编码对音频进行编码,所有模态都投影到共享的隐藏空间中。
Inkling-Small 支持使用开源库(如 SGLang、vLLM、TokenSpeed、Unsloth 和 Huggingface)进行本地部署。通过第三方推理提供商可以访问 API。该模型的训练数据包括来自公开可用库、第三方收购和合成生成的多种内容类型。
进行了安全评估,以确保 Inkling-Small 在文本、音频和图像输入中的负责任使用。采取了减轻措施以降低风险,并且可以在模型周围叠加常见的审核工具以增强安全性。局限性包括潜在的偏见和幻觉,这在基础模型中是常见的,并且在长时间对话中性能下降。鼓励开发人员在高风险应用中应用人工监督和额外的安全措施。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端, 自托管
- 平台网页版
Inkling-Small亮点
多模态模型
开放权重
API 访问
本地部署支持
42 层变换器
稀疏专家混合
分层补丁编码器
离散令牌编码
Inkling-Small入门
访问模型页面:访问 Hugging Face
身份验证:设置访问凭据
配置:调整模型设置
发送提示:输入文本、图像或音频
微调:自定义模型输出
Inkling-Small的使用案例
- 聊天机器人
- 编码助手
- 多模态应用
- 遵循指令
- 研究









