描述
Inkling 2 Mini 是一个多功能的多模态模型,旨在处理文本和图像输入,并随后生成文本输出。该模型由 Thinking Machines Lab, Inc. 开发,设计用于广泛的应用,支持英语及其他语言,以及多种编程语言。它特别适合从事创建 AI 驱动应用程序的开发者,包括智能系统和工具使用系统、编码助手、聊天机器人以及增强检索生成(RAG)系统。此外,它还能够用于通用对话、遵循指令以及各种自然语言和视觉任务。
阅读更多
该模型以开放权重的形式发布,遵循 Apache 2.0 许可证,鼓励研究、微调和下游开发者将其集成到第三方产品中。它以约 20GB 的单个检查点分发,采用混合 NVFP4 和 MXFP8 精度。这种紧凑的大小允许在兼容硬件上进行本地推理,包括 1x NVIDIA DGX Spark、内存 32GB 或更多的 Apple silicon 设备(如 MacBook、Mac mini、Studio)以及其他推荐 32GB 或更多 VRAM 的 GPU。
Inkling 2 Mini 通过多个框架支持本地推理,包括 Hugging Face、SGLang、vLLM、TokenSpeed、NVIDIA Dynamo、Unsloth(包括量化 GGUF 版本)、llama.cpp(用于量化 GGUF 版本)、Llama App、Ollama 和 Exo Labs(在 Apple silicon 上)。它还可以与 Miles 和 SkyRL 进行后续训练。该模型具有 24 层仅解码器的变换器架构,配备稀疏的专家混合(MoE)前馈层。其中间 12 层以共享权重的方式运行三次,有效地为每个令牌提供 48 层应用。每层将令牌路由到 128 个专家中的 8 个,注意力机制是局部和全局层的混合。图像通过视觉变换器进行编码,图像和文本输入被投影到共享的隐藏空间中,以便解码器进行联合处理。该模型具有 264 亿个参数,其中 34 亿个为活跃参数,并支持高达 100 万个令牌的上下文窗口。
Inkling 2 Mini 的训练数据涵盖了广泛的内容类型,包括文本、图像和视频,来源于公开可用的存储库、第三方收购、内部生成和合成增强。数据策划涉及清理、处理和修改数据集,包括去重和质量与安全性过滤。进行了安全评估,涵盖日常人机交互和危险能力测试,并通过对齐训练应用了缓解措施。该模型的局限性包括潜在的幻觉、偶尔的指令遵循失败、在长对话中的性能下降以及训练数据中的偏见。它在事实回忆和知识密集型问题上不如更大的模型,并可能表现出重复推理或智能不可靠,尤其是在非英语语言中。建议开发者应用人工监督,在沙箱中运行智能工作负载,并在部署前进行独立评估。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署本地运行
- 平台网页版
Inkling 2 Mini亮点
多模态输入:接受文本和图像输入进行处理。
文本输出生成:根据多模态输入生成文本输出。
通用模型:设计用于广泛的应用和任务。
多语言支持:支持英语及其他语言。
多种编程语言支持:兼容多种编程环境。
开放权重发布:可下载和使用开放权重。
Apache 2.0 许可证:为研究、微调和集成提供灵活性。
面向开发者:旨在构建 AI 驱动的应用程序。
智能系统支持:适合开发智能和工具使用系统。
编码助手能力:可用于创建编码助手。
聊天机器人集成:促进聊天机器人的开发。
增强检索生成(RAG)系统:支持 RAG 系统的创建。
本地推理能力:可在指定硬件上进行本地 AI 计算。
广泛的框架支持:兼容 Hugging Face、SGLang、vLLM 等。
后续训练选项:可与 Miles 和 SkyRL 进行后续训练。
大上下文窗口:支持高达 100 万个令牌。
Inkling 2 Mini入门
下载模型权重:从 Hugging Face 访问并下载 Inkling 2 Mini 权重。
通过 Tinker 平台访问:利用 Tinker 微调平台进行 API 访问和模型交互。
安装 Tinker 渲染器:安装 tml-renderers 包以集成 Tinker 平台。
配置本地硬件:确保可用所需硬件(例如,NVIDIA DGX Spark、内存 32GB 以上的 Apple silicon)。
安装软件框架:设置支持的本地推理框架,如 Hugging Face、SGLang 或 llama.cpp。
运行推理:使用所选框架在本地执行模型,以从图像和文本输入生成文本。
Inkling 2 Mini的使用案例
- AI 应用程序开发
- 智能系统创建
- 编码助手工具
- 聊天机器人实现
- 增强检索生成
- 通用对话 AI
- 自然语言处理
- 视觉任务处理
- 模型微调
- 第三方产品集成







