Описание
Parti, авторегрессионная модель генерации изображений по тексту Pathways, представляет собой новый подход к созданию фотореалистичных изображений на основе текстовых описаний. Она рассматривает генерацию изображений по тексту как задачу моделирования последовательности в последовательность, проводя параллели с машинным переводом и используя преимущества достижений в области больших языковых моделей, особенно тех, которые стали доступны благодаря масштабированию данных и размеров моделей. Parti использует токенизатор изображений ViT-VQGAN для преобразования изображений в последовательности дискретных токенов, что позволяет ей реконструировать эти последовательности в высококачественные, визуально разнообразные изображения.
Читать далее
Эта модель демонстрирует стабильное улучшение качества по мере масштабирования ее энкодера-декодера до 20 миллиардов параметров. Parti достигла передовых показателей FID в режиме zero-shot (7,23) и finetuned (3,22) на бенчмарке MS-COCO. Ее эффективность охватывает широкий спектр категорий и задач, что подтверждается анализом на недавно выпущенном бенчмарке PartiPrompts — комплексной коллекции из более чем 1600 английских запросов, разработанных для измерения возможностей модели по различным аспектам.
Parti превосходно справляется с длинными, сложными запросами, которые требуют точного отражения знаний о мире, композиции многочисленных участников и объектов с мелкими деталями и взаимодействиями, а также соблюдения специфических форматов и стилей изображений. Возможности модели проявляются в ее способности генерировать изображения на основе абстрактных концепций, включать знания о мире, отображать конкретные точки зрения и даже создавать текст и символы внутри изображений. Исследование также выявляет ограничения и области для будущего улучшения, такие как обработка отрицания и указаний на отсутствие.
Разработанная с использованием Lingvo и масштабированная с помощью GSPMD на оборудовании TPU v4, архитектура Parti обеспечивает значительное масштабирование. Сравнение моделей в диапазоне от 350 миллионов до 20 миллиардов параметров показывает существенные улучшения в возможностях модели и качестве выходных изображений. Оценщики-люди последовательно отдавали предпочтение более крупным моделям, особенно в отношении реализма изображений, качества и соответствия текста изображению. Модель с 20 миллиардами параметров демонстрирует особую силу в запросах, требующих абстрактного мышления, знаний о мире, конкретных точек зрения и рендеринга текста и символов.
Хотя Parti открывает захватывающие возможности для творчества и визуальной коммуникации, исследование признает значительные риски, включая потенциальное кодирование вредных стереотипов и представлений из-за предвзятости в обучающих данных. Подобно другим моделям генерации изображений по тексту, Parti может отражать западные предубеждения и недостаточно представлять определенные группы населения. Также вызывает беспокойство возможность создания дипфейков и распространения дезинформации. Из-за этих рисков Google Research принял решение не публиковать модели, код или данные Parti без дополнительных мер безопасности. Вместо этого они предоставляют водяной знак Parti на выпущенных изображениях и планируют сосредоточиться на измерении предвзятости, стратегиях ее смягчения и координации с художниками для изучения ответственных применений.
- КатегорияИИ-модели и LLM
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Parti: Авторегрессионная модель генерации изображений по тексту Pathways
Авторегрессионная генерация изображений по тексту
Высококачественная фотореалистичная генерация изображений
Поддержка создания контента с богатыми деталями и сложными композициями
Использование достижений в области больших языковых моделей
Подход к моделированию последовательности в последовательность
Использование ViT-VQGAN для токенизации изображений
Масштабируемая архитектура до 20 миллиардов параметров
Достижение передовых показателей FID на MS-COCO
Эффективность в различных категориях запросов и аспектах сложности
Обработка абстрактных запросов и знаний о мире
Рендеринг конкретных точек зрения и текста/символов
Реализовано на Lingvo и масштабировано с помощью GSPMD на TPU v4
Начало работы с Parti: Авторегрессионная модель генерации изображений по тексту Pathways
Доступ к модели: Ознакомьтесь с исследовательской статьей и ее выводами о Parti.
Изучение возможностей: Просмотрите примеры запросов и сгенерированных изображений, чтобы оценить производительность модели.
Анализ результатов бенчмарков: Изучите показатели FID и производительность на бенчмарке PartiPrompts.
Понимание ограничений: Ознакомьтесь с выявленными сценариями сбоев и областями для улучшения.
Рассмотрение ответственного использования: Помните об этических соображениях и рисках, связанных с моделями генерации изображений по тексту.
Просмотр карточки данных: Получите доступ к информации о сборе данных и практике разработки моделей.
Варианты использования Parti: Авторегрессионная модель генерации изображений по тексту Pathways
- Фотореалистичная генерация изображений
- Синтез сложных сцен
- Интеграция знаний о мире
- Визуализация абстрактных концепций
- Эмуляция художественных стилей
- Рендеринг текста и символов
- Создание креативного контента
