Описание
Inkling 2 Mini — это универсальная мультимодальная модель, разработанная для обработки как текстовых, так и графических входных данных, после чего она генерирует текстовые выходные данные. Разработанная компанией Thinking Machines Lab, Inc., эта модель предназначена для широкого применения, поддерживая английский и другие языки, а также несколько языков программирования. Она особенно подходит для разработчиков, занимающихся созданием AI-приложений, включая агентные и инструментальные системы, помощников по программированию, чат-ботов и системы генерации с дополнением поиска (RAG). Более того, она способна на общие разговорные задачи, выполнение инструкций и различные задачи в области естественного языка и визуальных данных.
Читать далее
Модель выпущена с открытыми весами под лицензией Apache 2.0, что способствует исследованиям, тонкой настройке и интеграции в сторонние продукты разработчиками. Она распространяется в виде одной контрольной точки объемом примерно 20 ГБ, используя смешанную точность NVFP4 и MXFP8. Этот компактный размер позволяет выполнять локальную инференцию на совместимом оборудовании, включая 1x NVIDIA DGX Spark, устройства Apple с чипами Silicon с 32 ГБ или более памяти (MacBook, Mac mini, Studio) и другие графические процессоры с рекомендованным объемом видеопамяти 32 ГБ или более.
Inkling 2 Mini поддерживает локальную инференцию через несколько фреймворков, включая Hugging Face, SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, Unsloth (включая квантизированные версии GGUF), llama.cpp (для квантизированных версий GGUF), Llama App, Ollama и Exo Labs (на Apple Silicon). Она также может быть дообучена с помощью Miles и SkyRL. Модель имеет архитектуру трансформера только для декодера с 24 слоями и разреженными слоями Mixture-of-Experts (MoE). Ее средние 12 слоев работают трижды с общими весами, эффективно обеспечивая 48 применений слоев на токен из 24 слоев весов. Каждый слой направляет токены к 8 из 128 экспертов, а внимание является гибридом локальных и глобальных слоев. Изображения кодируются с помощью визуального трансформера, при этом графические и текстовые входные данные проецируются в общее скрытое пространство для совместной обработки декодером. Модель имеет 26,4 миллиарда параметров, из которых 3,4 миллиарда активных параметров, и поддерживает контекстное окно до 1 миллиона токенов.
Данные для обучения Inkling 2 Mini охватывают широкий спектр типов контента, включая текст, изображения и видео, полученные из общедоступных репозиториев, сторонних приобретений, внутренней генерации и синтетического дополнения. Курация данных включает очистку, обработку и модификацию наборов данных, включая дедупликацию и фильтрацию по качеству и безопасности. Оценки безопасности проводились, охватывающие повседневное взаимодействие человека и AI, а также тестирование на опасные возможности, с применением мер смягчения через обучение выравниванию. Ограничения модели включают потенциальные галлюцинации, случайные сбои в выполнении инструкций, ухудшение производительности в длинных разговорах и предвзятости из обучающих данных. Она менее способна, чем более крупные модели, в фактическом воспоминании и вопросах, требующих знаний, и может демонстрировать повторяющееся рассуждение или ненадежность в агентных задачах, особенно на неанглийских языках. Разработчикам рекомендуется применять человеческий контроль, запускать агентные нагрузки в песочницах и проводить независимые оценки перед развертыванием.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеРаботает локально
- ПлатформыВеб
Главное о Inkling 2 Mini
Мультимодальный ввод: Принимает как текстовые, так и графические входные данные для обработки.
Генерация текстовых выходных данных: Производит текстовые выходные данные на основе мультимодальных входных данных.
Универсальная модель: Разработана для широкого спектра приложений и задач.
Многоязычная поддержка: Работает на английском и других языках.
Поддержка нескольких языков программирования: Совместима с различными языковыми средами.
Выпуск открытых весов: Доступна для загрузки и использования с открытыми весами.
Лицензия Apache 2.0: Обеспечивает гибкость для исследований, тонкой настройки и интеграции.
Ориентирована на разработчиков: Предназначена для создания AI-приложений.
Поддержка агентных систем: Подходит для разработки агентных и инструментальных систем.
Возможности помощника по программированию: Может использоваться для создания помощников по программированию.
Интеграция чат-ботов: Упрощает разработку чат-ботов.
Системы генерации с дополнением поиска (RAG): Поддерживает создание систем RAG.
Возможность локальной инференции: Может работать на локальных AI-вычислениях с указанным оборудованием.
Широкая поддержка фреймворков: Совместима с Hugging Face, SGLang, vLLM и другими.
Опции дообучения: Может быть дообучена с помощью Miles и SkyRL.
Большое контекстное окно: Поддерживает до 1 миллиона токенов.
Начало работы с Inkling 2 Mini
Скачать веса модели: Получите доступ и загрузите веса Inkling 2 Mini с Hugging Face.
Доступ через платформу Tinker: Используйте платформу тонкой настройки Tinker для доступа к API и взаимодействия с моделью.
Установить рендереры Tinker: Установите пакет tml-renderers для интеграции с платформой Tinker.
Настроить локальное оборудование: Убедитесь, что доступно необходимое оборудование (например, NVIDIA DGX Spark, Apple Silicon с 32 ГБ+ памяти).
Установить программные фреймворки: Настройте поддерживаемые фреймворки локальной инференции, такие как Hugging Face, SGLang или llama.cpp.
Запустить инференцию: Выполните модель локально, используя выбранные фреймворки для генерации текста из графических и текстовых входных данных.
Варианты использования Inkling 2 Mini
- Разработка AI-приложений
- Создание агентных систем
- Инструменты помощника по программированию
- Реализация чат-ботов
- Генерация с дополнением поиска
- Общий разговорный AI
- Обработка естественного языка
- Обработка визуальных задач
- Тонкая настройка модели
- Интеграция в сторонние продукты







