Описание
Inkling — это многомодальная модель ИИ общего назначения, разработанная компанией Thinking Machines Lab, Inc. Она имеет в общей сложности 975 миллиардов параметров, из которых 41 миллиард активных, и предназначена для приема текстовых, изображенческих и аудиовходов, генерируя текстовые выходы. Модель предназначена для использования на английском и других языках, что делает ее универсальной для различных приложений. Разработчики могут использовать Inkling для создания приложений на базе ИИ, включая агентные и инструментальные системы, помощников по программированию, чат-ботов и системы генерации с дополнением поиска. Ее дизайн поддерживает использование в общем разговорном формате, выполнение инструкций и другие задачи на естественном языке и многомодальные задачи.
Читать далее
Архитектура Inkling основана на трансформере с 66 слоями, работающем только в режиме декодера, с разреженной архитектурой Mixture-of-Experts (MoE) в качестве основы. Каждый токен направляется к шести из 256 экспертов, при этом два общих эксперта активны для каждого токена. Модель изначально многомодальная, кодируя изображения с помощью иерархического кодировщика патчей и аудио через дискретное кодирование токенов. Все модальности проецируются в общее скрытое пространство и обрабатываются совместно декодером. Inkling поддерживает контекстное окно до 1 миллиона токенов, что позволяет обрабатывать обширные входные данные.
Inkling доступен через API-доступ через Tinker, сервис для тонкой настройки, и через сторонних поставщиков вывода. Веса модели можно скачать с Hugging Face. Для оптимальной работы требуются специфические аппаратные конфигурации, включая кластеры GPU с большим объемом VRAM. Модель прошла обширные оценки безопасности для снижения рисков, связанных с многомодальными взаимодействиями, обеспечивая, что она не представляет собой значительного повышения по сравнению с существующими моделями с открытыми весами. Тем не менее, пользователям рекомендуется внедрять дополнительные меры предосторожности и человеческий контроль при развертывании Inkling в контекстах с высокими ставками.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Модель Inkling
Тип модели: многомодальный авторегрессионный трансформер
API доступен: Да
Лицензия: Apache 2.0
Параметры: 975B всего, 41B активных
Поддержка тонкой настройки: Да
Многомодальный: Да
Поддержка чисел: BF16, MXFP8, NVFP4
Контекстное окно: 1M токенов
Начало работы с Модель Inkling
Доступ к модели: Посетите сервис Tinker для доступа к API.
Аутентификация: Настройте свою учетную запись и получите ключи API.
Настройка окружения: Убедитесь, что ваше оборудование соответствует требованиям модели.
Интеграция через API: Используйте предоставленную документацию для интеграции Inkling в ваше приложение.
Оптимизация: Тонко настройте модель по мере необходимости для вашего конкретного случая использования.
Варианты использования Модель Inkling
- Чат-боты
- Помощники по программированию
- Многомодальные приложения
- Следование инструкциям
- Генерация с дополнением поиска
