Описание
IDEFICS (Image-aware Decoder Enhanced à la Flamingo with Interleaved Cross-attention) — это визуальная языковая модель с открытым доступом, разработанная для повышения прозрачности и демократизации в области ИИ. Это открытая репродукция модели Flamingo от DeepMind, передовой визуальной языковой модели, которая не была публично выпущена. Подобно моделям, таким как GPT-4, IDEFICS может обрабатывать произвольные последовательности изображений и текста, генерируя связные текстовые выходные данные.
Читать далее
Созданная исключительно на основе общедоступных данных и моделей, включая LLaMA v1 и OpenCLIP, IDEFICS доступна в двух вариантах: базовом и инструктивном. Каждый вариант поставляется в двух размерах параметров: 9 миллиардов и 80 миллиардов. Проект подчеркивает прозрачность, используя только общедоступные данные, предоставляя инструменты для изучения обучающих наборов данных, делясь полученным техническим опытом и проводя внутренние этические оценки с помощью состязательного промптинга (red teaming) перед выпуском.
IDEFICS превосходно справляется с такими задачами, как ответы на вопросы об изображениях, описание визуального контента и создание историй, основанных на нескольких изображениях. Ее производительность сопоставима с оригинальной закрытой моделью Flamingo по различным бенчмаркам понимания изображений и текста. Модель была обучена на смеси общедоступных наборов данных, таких как Wikipedia, Public Multimodal Dataset и LAION, а также на недавно созданном наборе данных OBELICS объемом 115B токенов, который состоит из 141 миллиона веб-документов с чередующимися изображениями и текстом.
Команда разработчиков стремится развивать открытые исследования в области мультимодальных систем ИИ. IDEFICS призвана служить прочной основой для сообщества ИИ, дополняя другие открытые репродукции, такие как OpenFlamingo. Этический кодекс проекта руководил принятием решений, отдавая приоритет самокритике, прозрачности и справедливости. Пользователям предлагается изучить демоверсию, карточки моделей и карточку набора данных, а также предоставить обратную связь для помощи в непрерывном совершенствовании этих моделей и доступности больших мультимодальных ИИ.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Визуальная языковая модель IDEFICS
Визуальная языковая модель с открытым доступом
Воспроизводит передовые возможности
Принимает чередующиеся входные данные из изображений и текста
Генерирует текстовые выходные данные
Сравнительная производительность с проприетарными моделями
Доступна в размерах 9B и 80B параметров
Предлагаются базовые и инструктивные версии
Обучена на общедоступных данных и моделях
Поддерживает исследования в области мультимодального ИИ
Включает этическую оценку через red teaming
Доступна интерактивная визуализация обучающего набора данных
Начало работы с Визуальная языковая модель IDEFICS
Доступ к модели: Найдите модели IDEFICS на Hugging Face Hub.
Настройка среды: Убедитесь, что у вас установлена последняя версия transformers.
Загрузка модели и процессора: Импортируйте необходимые классы и загрузите желаемый чекпойнт IDEFICS.
Подготовка входных данных: Создайте промпты с чередующимися текстовыми строками и URL-адресами изображений или объектами PIL Image.
Интеграция через API: Используйте метод `generate` с подготовленными входными данными и аргументами генерации.
Декодирование вывода: Обработайте сгенерированные идентификаторы, чтобы получить читаемый человеком текст.
Выполнение инференса: Выполните код для генерации текста на основе мультимодальных входных данных.
Варианты использования Визуальная языковая модель IDEFICS
- Ответы на вопросы по изображениям
- Описание визуального контента
- Мультимодальное повествование
- Основа для открытых исследований
- Прозрачность ИИ
- Демократизация ИИ
