Phi-4-reasoning-vision-15B

Рекомендовано

AI-модели ИИ-модели и LLMОткрытый код · Веб

Phi-4-reasoning-vision-15B — это мультимодальная модель ИИ, разработанная Microsoft, предназначенная для задач, требующих понимания языка и визуального восприятия, а также способности к рассуждению. Она превосходно справляется с научными рассуждениями и задачами для компьютерных агентов, что делает её подходящей для различных приложений.

Открыть модель

Описание

Phi-4-Reasoning-Vision-15B — это компактная модель мультимодального рассуждения с открытыми весами, разработанная Microsoft, основанная на языковой модели Phi-4-Reasoning и визуальном кодировщике SigLIP-2. Эта модель использует архитектуру промежуточного слияния, где визуальный кодировщик преобразует изображения в визуальные токены, которые затем проецируются в пространство встраивания языковой модели. Этот инновационный подход сочетает в себе сильные стороны обоих предварительно обученных компонентов, сохраняя при этом управляемые затраты на обучение и вывод.

Модель способна обрабатывать текст и изображения с длиной контекста в 16 384 токена. Она была обучена с использованием контролируемой дообучаемости (SFT) на тщательно подобранном наборе данных, который включает как данные для рассуждений, так и не относящиеся к ним. Это позволяет Phi-4-Reasoning-Vision-15B выполнять расширенные рассуждения в цепочке мыслей для сложных задач, таких как математические и научные рассуждения, а также обрабатывать прямой вывод для задач, ориентированных на восприятие, таких как создание подписей и обнаружение объектов.

Phi-4-Reasoning-Vision-15B особенно эффективна в условиях ограниченной памяти или вычислительных ресурсов, что делает её идеальной для универсальных мультимодальных систем ИИ. Основные области применения включают научные и математические рассуждения на основе визуальных данных, а также задачи для компьютерных агентов, которые включают интерпретацию содержимого экрана и локализацию элементов интерфейса. Модель также способна выполнять общие мультимодальные задачи, такие как создание подписей к изображениям, визуальное ответ на вопросы и оптическое распознавание символов.

Обучение модели проводилось на 240 графических процессорах NVIDIA B200 в течение четырех дней с акцентом на безопасность и согласование. Она включает в себя подход к безопасности после обучения, который включает смесь открытых и синтетических наборов данных, созданных внутри компании, чтобы обеспечить соответствующее поведение в ответ на вредоносный контент. Разработчикам рекомендуется учитывать ограничения модели, особенно в сценариях с высоким риском, и применять ответственные практики ИИ при интеграции её в приложения.

КатегорияИИ-модели и LLM
Модель ценообразованияОткрытый код
РазвёртываниеОблако
ПлатформыВеб

Главное о Phi-4-reasoning-vision-15B

Тип модели: Мультимодальная
API доступен: Да
Лицензия: MIT
Параметры: 15B
Длина контекста: 16 384 токена
Графические процессоры для обучения: 240
Время обучения: 4 дня
Поддержка дообучения: Да
Мультимодальная: Да

Начало работы с Phi-4-reasoning-vision-15B

Доступ к модели: Посетите страницу Hugging Face для Phi-4-Reasoning-Vision-15B.
Аутентификация: Настройте свою учетную запись Hugging Face для доступа к API.
Настройка окружения: Убедитесь, что ваша система соответствует техническим требованиям.
Интеграция через API: Используйте предоставленную документацию API для интеграции модели в ваше приложение.
Оптимизация: Дообучите модель в зависимости от вашего конкретного случая использования.