Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

Inkling 2 Mini

LLM#39ИИ-модели и LLMОткрытый код · Веб

Inkling 2 Mini — это универсальная мультимодальная модель, разработанная компанией Thinking Machines Lab, Inc. Она принимает текстовые и графические входные данные для генерации текстовых выходных данных, поддерживая английский и другие языки. Модель предназначена для разработчиков и упрощает создание AI-приложений, таких как агентные системы, помощники по программированию, чат-боты и системы генерации с дополнением поиска, предлагая открытые веса для исследований и интеграции.

Посетить URL
Поделиться
Скриншот Inkling 2 Mini
Скриншот Inkling 2 Mini

Inkling 2 Mini — это универсальная мультимодальная модель, разработанная для обработки как текстовых, так и графических входных данных, после чего она генерирует текстовые выходные данные. Разработанная компанией Thinking Machines Lab, Inc., эта модель предназначена для широкого применения, поддерживая английский и другие языки, а также несколько языков программирования. Она особенно подходит для разработчиков, занимающихся созданием AI-приложений, включая агентные и инструментальные системы, помощников по программированию, чат-ботов и системы генерации с дополнением поиска (RAG). Более того, она способна на общие разговорные задачи, выполнение инструкций и различные задачи в области естественного языка и визуальных данных.

Читать далее

Модель выпущена с открытыми весами под лицензией Apache 2.0, что способствует исследованиям, тонкой настройке и интеграции в сторонние продукты разработчиками. Она распространяется в виде одной контрольной точки объемом примерно 20 ГБ, используя смешанную точность NVFP4 и MXFP8. Этот компактный размер позволяет выполнять локальную инференцию на совместимом оборудовании, включая 1x NVIDIA DGX Spark, устройства Apple с чипами Silicon с 32 ГБ или более памяти (MacBook, Mac mini, Studio) и другие графические процессоры с рекомендованным объемом видеопамяти 32 ГБ или более.

Inkling 2 Mini поддерживает локальную инференцию через несколько фреймворков, включая Hugging Face, SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, Unsloth (включая квантизированные версии GGUF), llama.cpp (для квантизированных версий GGUF), Llama App, Ollama и Exo Labs (на Apple Silicon). Она также может быть дообучена с помощью Miles и SkyRL. Модель имеет архитектуру трансформера только для декодера с 24 слоями и разреженными слоями Mixture-of-Experts (MoE). Ее средние 12 слоев работают трижды с общими весами, эффективно обеспечивая 48 применений слоев на токен из 24 слоев весов. Каждый слой направляет токены к 8 из 128 экспертов, а внимание является гибридом локальных и глобальных слоев. Изображения кодируются с помощью визуального трансформера, при этом графические и текстовые входные данные проецируются в общее скрытое пространство для совместной обработки декодером. Модель имеет 26,4 миллиарда параметров, из которых 3,4 миллиарда активных параметров, и поддерживает контекстное окно до 1 миллиона токенов.

Данные для обучения Inkling 2 Mini охватывают широкий спектр типов контента, включая текст, изображения и видео, полученные из общедоступных репозиториев, сторонних приобретений, внутренней генерации и синтетического дополнения. Курация данных включает очистку, обработку и модификацию наборов данных, включая дедупликацию и фильтрацию по качеству и безопасности. Оценки безопасности проводились, охватывающие повседневное взаимодействие человека и AI, а также тестирование на опасные возможности, с применением мер смягчения через обучение выравниванию. Ограничения модели включают потенциальные галлюцинации, случайные сбои в выполнении инструкций, ухудшение производительности в длинных разговорах и предвзятости из обучающих данных. Она менее способна, чем более крупные модели, в фактическом воспоминании и вопросах, требующих знаний, и может демонстрировать повторяющееся рассуждение или ненадежность в агентных задачах, особенно на неанглийских языках. Разработчикам рекомендуется применять человеческий контроль, запускать агентные нагрузки в песочницах и проводить независимые оценки перед развертыванием.

  • КатегорияИИ-модели и LLM
  • Модель ценообразованияОткрытый код
  • РазвёртываниеРаботает локально
  • ПлатформыВеб

  • Мультимодальный ввод: Принимает как текстовые, так и графические входные данные для обработки.

  • Генерация текстовых выходных данных: Производит текстовые выходные данные на основе мультимодальных входных данных.

  • Универсальная модель: Разработана для широкого спектра приложений и задач.

  • Многоязычная поддержка: Работает на английском и других языках.

  • Поддержка нескольких языков программирования: Совместима с различными языковыми средами.

  • Выпуск открытых весов: Доступна для загрузки и использования с открытыми весами.

  • Лицензия Apache 2.0: Обеспечивает гибкость для исследований, тонкой настройки и интеграции.

  • Ориентирована на разработчиков: Предназначена для создания AI-приложений.

  • Поддержка агентных систем: Подходит для разработки агентных и инструментальных систем.

  • Возможности помощника по программированию: Может использоваться для создания помощников по программированию.

  • Интеграция чат-ботов: Упрощает разработку чат-ботов.

  • Системы генерации с дополнением поиска (RAG): Поддерживает создание систем RAG.

  • Возможность локальной инференции: Может работать на локальных AI-вычислениях с указанным оборудованием.

  • Широкая поддержка фреймворков: Совместима с Hugging Face, SGLang, vLLM и другими.

  • Опции дообучения: Может быть дообучена с помощью Miles и SkyRL.

  • Большое контекстное окно: Поддерживает до 1 миллиона токенов.

  1. Скачать веса модели: Получите доступ и загрузите веса Inkling 2 Mini с Hugging Face.

  2. Доступ через платформу Tinker: Используйте платформу тонкой настройки Tinker для доступа к API и взаимодействия с моделью.

  3. Установить рендереры Tinker: Установите пакет tml-renderers для интеграции с платформой Tinker.

  4. Настроить локальное оборудование: Убедитесь, что доступно необходимое оборудование (например, NVIDIA DGX Spark, Apple Silicon с 32 ГБ+ памяти).

  5. Установить программные фреймворки: Настройте поддерживаемые фреймворки локальной инференции, такие как Hugging Face, SGLang или llama.cpp.

  6. Запустить инференцию: Выполните модель локально, используя выбранные фреймворки для генерации текста из графических и текстовых входных данных.

  • Разработка AI-приложений
  • Создание агентных систем
  • Инструменты помощника по программированию
  • Реализация чат-ботов
  • Генерация с дополнением поиска
  • Общий разговорный AI
  • Обработка естественного языка
  • Обработка визуальных задач
  • Тонкая настройка модели
  • Интеграция в сторонние продукты

Отзывы о Inkling 2 Mini

Загрузка...

Популярные ИИ-инструменты, похожие на Inkling 2 Mini

Inkling 2 Small — это универсальная многомодальная модель, предназначенная для обработки текстовых и изображенческих входных данных с генерацией текстовых выходных данных. Она…

ИИ-модели и LLM

№34 в LLM

Открыть инструмент

Универсальная многомодальная модель, предназначенная для обработки текстовых и изображенческих входных данных с генерацией текстовых выходных данных. Она…Inkling 2 Small — это универсальная многомодальная модель, предназначенная для обработки текстовых и изображенческих входных данных с генерацией текстовых выходных данных. Она…

ИИ-модели и LLM
№34 в LLM

Inkling — это многомодальная модель ИИ с 975 миллиардами параметров, разработанная для разработчиков. Она принимает текстовые, изображенческие и аудиовходы, генерируя текстовые…

РекомендованоИИ-модели и LLM
Топ-5: AI-модели

Inkling-Small — это универсальная мультимодальная модель, которая обрабатывает текстовые, изображенческие и аудиовходы для генерации текстовых выходов. Она поддерживает…

ИИ-модели и LLM

№27 в LLM

Открыть инструмент

Универсальная мультимодальная модель, которая обрабатывает текстовые, изображенческие и аудиовходы для генерации текстовых выходов. Она поддерживает…Inkling-Small — это универсальная мультимодальная модель, которая обрабатывает текстовые, изображенческие и аудиовходы для генерации текстовых выходов. Она поддерживает…

ИИ-модели и LLM
№27 в LLM

DeepSeek — это компания, занимающаяся исследованиями в области ИИ, которая стремится к разработке общего искусственного интеллекта. Она предлагает открытые фронтирные LLM, такие…

ИИ-модели и LLM

№2 в LLM

Открыть инструмент

Компания, занимающаяся исследованиями в области ИИ, которая стремится к разработке общего искусственного интеллекта. Она предлагает открытые фронтирные LLM, такие…DeepSeek — это компания, занимающаяся исследованиями в области ИИ, которая стремится к разработке общего искусственного интеллекта. Она предлагает открытые фронтирные LLM, такие…

РекомендованоИИ-модели и LLM
№2 в LLM

TML-d24-varloop-research — это многомодальная исследовательская модель, разработанная компанией Thinking Machines Lab, Inc. Она принимает текстовые и изображенческие входные…

ИИ-модели и LLM

№96 в LLM

Открыть инструмент

Многомодальная исследовательская модель, разработанная компанией Thinking Machines Lab, Inc. Она принимает текстовые и изображенческие входные…TML-d24-varloop-research — это многомодальная исследовательская модель, разработанная компанией Thinking Machines Lab, Inc. Она принимает текстовые и изображенческие входные…

ИИ-модели и LLM
№96 в LLM

LLaVA

AI-репозитории на GitHub

LLaVA — это модель визуальной настройки инструкций, которая объединяет возможности больших языковых моделей и обработки изображений. Она нацелена на достижение производительности…

ИИ-модели и LLM
Открыть инструмент

AI-репозитории на GitHub

Модель визуальной настройки инструкций, которая объединяет возможности больших языковых моделей и обработки изображений. Она нацелена на достижение производительности…LLaVA — это модель визуальной настройки инструкций, которая объединяет возможности больших языковых моделей и обработки изображений. Она нацелена на достижение производительности…

ИИ-модели и LLM
Топ-250: AI-репозитории на GitHub

Langflow

AI-фреймворки

Langflow — это конструктор ИИ с низким кодом, предназначенный для создания и развертывания агентов ИИ и приложений Retrieval-Augmented Generation (RAG). Он предлагает визуальный…

Конструкторы AI-агентов

№2 в AI-фреймворки

Открыть инструмент

AI-фреймворки

Конструктор ИИ с низким кодом, предназначенный для создания и развертывания агентов ИИ и приложений Retrieval-Augmented Generation (RAG). Он предлагает визуальный…Langflow — это конструктор ИИ с низким кодом, предназначенный для создания и развертывания агентов ИИ и приложений Retrieval-Augmented Generation (RAG). Он предлагает визуальный…

РекомендованоКонструкторы AI-агентов
№2 в AI-фреймворки

Haystack AI Framework

AI-фреймворки

Haystack — это фреймворк с открытым исходным кодом для создания готовых к продакшену LLM-приложений. Он позволяет создавать AI-агентов, мощные RAG-системы и масштабируемые…

Программирование и разработка
Открыть инструмент

AI-фреймворки

Фреймворк с открытым исходным кодом для создания готовых к продакшену LLM-приложений. Он позволяет создавать AI-агентов, мощные RAG-системы и масштабируемые…Haystack — это фреймворк с открытым исходным кодом для создания готовых к продакшену LLM-приложений. Он позволяет создавать AI-агентов, мощные RAG-системы и масштабируемые…

Программирование и разработка
Топ-50: AI-фреймворки
1 из 8