描述
Inkling 是由思维机器实验室(Thinking Machines Lab, Inc.)开发的通用多模态 AI 模型。它总共有 9750 亿个参数,其中 410 亿个是活跃参数,旨在接受文本、图像和音频输入,生成文本输出。该模型旨在支持英语及其他语言的使用,使其在各种应用中具有多样性。开发者可以利用 Inkling 构建 AI 驱动的应用程序,包括代理和工具使用系统、编码助手、聊天机器人和检索增强生成系统。其设计支持通用的对话使用、遵循指令以及其他自然语言和多模态任务。Inkling 以开放权重发布,允许下游开发者进行研究、微调和集成到第三方产品中。
阅读更多
Inkling 的架构基于一个 66 层的仅解码器变换器,具有稀疏的专家混合(MoE)前馈骨干。每个标记被路由到 256 个专家中的六个,其中两个共享专家在每个标记上处于活动状态。该模型本质上是多模态的,通过分层补丁编码器对图像进行编码,并通过离散标记编码对音频进行编码。所有模态都被投影到一个共享的隐藏空间中,并由解码器共同处理。Inkling 支持高达 100 万个标记的上下文窗口,使其能够处理大量输入数据。
Inkling 通过 Tinker 提供的 API 访问,Tinker 是用于微调的服务,并通过第三方推理提供者提供。模型的权重可以从 Hugging Face 下载。为了获得最佳性能,需要特定的硬件配置,包括具有大量 VRAM 的 GPU 集群。该模型经过广泛的安全评估,以减轻与多模态交互相关的风险,确保其不会在现有开放权重模型的基础上呈现实质性提升。然而,建议用户在高风险环境中部署 Inkling 时实施额外的安全措施和人工监督。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
Inkling 模型卡亮点
模型类型:多模态自回归变换器
API 可用:是
许可证:Apache 2.0
参数:975B 总计,41B 活跃
微调支持:是
多模态:是
数值支持:BF16, MXFP8, NVFP4
上下文窗口:1M 标记
Inkling 模型卡入门
访问模型:访问 Tinker 服务以获取 API 访问。
身份验证:设置您的帐户并获取 API 密钥。
设置环境:确保您的硬件满足模型的要求。
通过 API 集成:使用提供的文档将 Inkling 集成到您的应用程序中。
优化:根据您的特定用例对模型进行微调。
Inkling 模型卡的使用案例
- 聊天机器人
- 编码助手
- 多模态应用
- 遵循指令
- 检索增强生成







