描述
Inkling 2 Small 是一款多功能的多模态模型，能够处理文本和图像输入以生成文本输出。它经过工程设计，适用于广泛的应用场景，支持英语及其他语言，以及多种编程语言。该模型特别针对开发者，旨在创建 AI 驱动的应用程序，如代理和工具使用系统、编码助手、聊天机器人和检索增强生成（RAG）系统。其设计也使其适合于通用的对话交互、遵循指令以及各种自然语言和视觉任务。
阅读更多
Inkling 2 Small 以开放权重发布，鼓励研究、微调和下游开发者将其集成到第三方产品中。用户可以在 Tinker Playground 上实验该模型，或通过 Tinker Cookbook 访问其 API。要使用 Tinker 进行微调，需要安装 tml-renderers 包。该模型支持通过多种框架进行本地推理，包括 SGLang、vLLM、TokenSpeed 和 Unsloth。此外，它还可以通过 Miles、SkyRL 和 Snowflake Cortex Training 进行后训练。API 访问也可以通过第三方推理提供商，如 NVIDIA、Fireworks、Together、Baseten、Nebius、Modal 和 Cloudflare 获得。
Inkling 2 Small 的硬件要求取决于检查点格式。主要的 NVFP4 检查点需要至少 500GB 的聚合 VRAM，可以通过 2 个 NVIDIA B300 GPU 或 4 个 NVIDIA H200 GPU 的配置实现。替代的 MXFP8 检查点需要至少 800GB 的聚合 VRAM，可以通过 4 个 NVIDIA B300 GPU 或 8 个 NVIDIA H200 GPU 满足。NVFP4 检查点被推荐用于所有用例，因为它是模型的原生精度，提供最佳性能。
在架构上，Inkling 2 Small 是一款多模态自回归变换器。它具有 48 层仅解码器的变换器，配备稀疏的专家混合（MoE）前馈骨干网络，每个标记路由到 384 个专家中的 8 个。其注意机制结合了局部和全局层。该模型本质上是多模态的，通过视觉变换器对图像进行编码，并将图像和文本输入投影到共享的隐藏空间，以便解码器进行联合处理。它支持高达 100 万个标记的上下文窗口，并接受 UTF-8 编码的文本和基于像素的图像格式（理想情况下每个维度在 40px 到 4096px 之间）。输出以 UTF-8 编码的文本生成。
Inkling 2 Small 的训练数据包括多种内容类型，如文本、图像和视频，来源于公开可用的存储库、第三方、内部生成和合成增强。数据策划过程涉及清理、处理和修改数据集，包括去重和质量与安全性过滤。安全评估在日常人机交互和危险能力测试中进行，并采取缓解措施以降低风险。该模型的知识仅限于其训练截止日期，建议用户在高风险应用中应用人工监督，以应对潜在的限制，如幻觉和训练数据中的偏见。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端, 自托管
- 平台网页版
Inkling 2 Small亮点
多模态输入：接受文本和图像输入
文本输出：生成 UTF-8 编码的文本输出
通用模型：适用于广泛的应用
多语言能力：支持英语及其他语言
多编程语言支持：适用于多种编程语言
开放权重：可用于研究、微调和集成
API 访问：通过 Tinker Cookbook 和第三方提供商可访问
本地推理支持：兼容 SGLang、vLLM、TokenSpeed、Unsloth
后训练选项：可通过 Miles、SkyRL 和 Snowflake Cortex Training 进行后训练
自回归变换器：采用 48 层仅解码器架构
专家混合（MoE）：稀疏前馈骨干网络，包含 384 个专家
共享隐藏空间：联合处理图像和文本输入
上下文窗口：支持高达 100 万个标记
高参数数量：总参数 594B，活跃参数 17B
Inkling 2 Small入门
访问模型：访问 Hugging Face 上的 Inkling 2 Small 页面。
尝试 Playground：直接在 Tinker Playground 上实验该模型。
通过 API 访问：使用 Tinker Cookbook 通过其 API 集成该模型。
微调模型：安装 tml-renderers 包以使用 Tinker 微调 Inkling 2 Small。
本地推理：利用 SGLang、vLLM、TokenSpeed 或 Unsloth 等框架进行本地部署。
后训练：通过 Miles、SkyRL 或 Snowflake Cortex Training 增强模型。
与提供商部署：通过第三方推理提供商如 NVIDIA 或 Fireworks 访问 API。
配置硬件：确保 NVFP4 检查点至少有 500GB VRAM，或 MXFP8 检查点至少有 800GB VRAM。
Inkling 2 Small的使用案例
- 构建 AI 应用程序
- 代理系统开发
- 编码助手
- 聊天机器人创建
- 检索增强生成
- 通用对话使用
- 遵循指令
- 视觉任务
- 研究与实验
- 第三方产品集成
