Inkling 2 Small

Выпущенная с открытыми весами, Inkling 2 Small поощряет исследования, дообучение и интеграцию в сторонние продукты со стороны разработчиков. Пользователи могут экспериментировать с моделью на Tinker Playground или получить доступ к ней через API, используя Tinker Cookbook. Для дообучения с Tinker требуется пакет tml-renderers. Модель поддерживает локальную инференцию через различные фреймворки, включая SGLang, vLLM, TokenSpeed и Unsloth. Кроме того, ее можно дообучать с помощью Miles, SkyRL и Snowflake Cortex Training. Доступ к API также доступен через сторонние провайдеры инференции, такие как NVIDIA, Fireworks, Together, Baseten, Nebius, Modal и Cloudflare.

Аппаратные требования для Inkling 2 Small зависят от формата контрольной точки. Основная контрольная точка NVFP4 требует кластер GPU с как минимум 500 ГБ агрегированной видеопамяти, что можно достичь с помощью конфигураций, таких как 2x NVIDIA B300 GPU или 4x NVIDIA H200 GPU. Альтернативная контрольная точка MXFP8 требует как минимум 800 ГБ агрегированной видеопамяти, что достигается с помощью 4x NVIDIA B300 GPU или 8x NVIDIA H200 GPU. Контрольная точка NVFP4 рекомендуется для всех случаев использования, так как это родная точность для модели, обеспечивающая оптимальную производительность.

Архитектурно Inkling 2 Small представляет собой многомодальный авторегрессионный трансформер. Она имеет 48-слойный трансформер только для декодирования с разреженной архитектурой Mixture-of-Experts (MoE), где каждый токен направляется к 8 из 384 экспертов. Ее механизм внимания сочетает локальные и глобальные слои. Модель изначально многомодальная, кодируя изображения через трансформер для визуальных данных и проецируя как изображения, так и текстовые входные данные в общее скрытое пространство для совместной обработки декодером. Она поддерживает контекстное окно до 1 миллиона токенов и принимает текст в кодировке UTF-8 и форматы изображений на основе пикселей (желательно между 40px и 4096px по размеру). Выходные данные генерируются в виде текста, закодированного в UTF-8.

Данные для обучения Inkling 2 Small включают разнообразные типы контента, такие как текст, изображения и видео, полученные из общедоступных репозиториев, третьих лиц, внутренней генерации и синтетического дополнения. Процесс кураторства данных включает очистку, обработку и модификацию наборов данных, включая дедупликацию и фильтрацию для качества и безопасности. Оценки безопасности проводились в рамках повседневного взаимодействия человека и AI, а также тестирования на опасные возможности, с применением мер по снижению рисков. Знания модели ограничены ее датой завершения обучения, и пользователям рекомендуется применять человеческий контроль для приложений с высокими ставками из-за потенциальных ограничений, таких как галлюцинации и предвзятости из обучающих данных.