Описание
DiffusionGemma, разработанная Google DeepMind, является генеративной моделью, использующей архитектуру Gemma 4 с 26B A4B Mixture-of-Experts (MoE). Она предназначена для генерации текстовых выходов из мультимодальных входов, включая текст, изображения и видео. Модель использует дискретную диффузию для повышения скорости генерации токенов, что делает её подходящей для развертывания в различных аппаратных средах.
Читать далее
Архитектура модели включает метод блочной авторегрессии с многоканальным выбором, который значительно увеличивает скорость декодирования, устраняя шум в блоках токенов параллельно. Этот подход позволяет DiffusionGemma генерировать текст с большей скоростью по сравнению с традиционными авторегрессионными моделями. Архитектура кодировщика-декодировщика использует авторегрессионный кодировщик для обработки и кэширования контекста запроса, в то время как декодировщик применяет двунаправленное внимание к генерационному холсту.
Дизайн MoE модели с 8 активными экспертами из 128 обеспечивает сильные способности к рассуждению при низком потреблении памяти. Эта эффективность делает её подходящей для локального выполнения и оптимизированной для вывода с малым размером пакета, достигая высокой скорости генерации на одном способном ускорителе.
Модель поддерживает обновления системных подсказок, позволяя вести структурированные и контролируемые беседы. Она также включает настраиваемый режим мышления для улучшенных способностей к рассуждению. С окном контекста до 256K токенов, DiffusionGemma может эффективно обрабатывать задачи с длинным контекстом.
DiffusionGemma была оценена по различным бенчмаркам, показывая конкурентоспособные результаты в задачах генерации текста и рассуждения. Она поддерживает многоязычные возможности, предварительно обучена на более чем 140 языках и предлагает надежные функции понимания изображений и видео, включая обнаружение объектов, разбор документов и анализ видеоконтента.
В целом, DiffusionGemma — это универсальная модель, предназначенная для высокоскоростной мультимодальной генерации текста, подходящая для широкого спектра приложений в создании контента, исследованиях и образовании.
- КатегорияИИ-модели и LLM
- Модель ценообразованияOpen Weights
- РазвёртываниеОблако
- ПлатформыВеб
Главное о DiffusionGemma
Дискретная текстовая диффузия
Обработка мультимодальных входов
Архитектура кодировщика-декодировщика
Эффективность Mixture-of-Experts
Режим мышления
Оптимизирована для вывода с малым размером пакета
Поддержка системных подсказок
Обработка длинного контекста
Начало работы с DiffusionGemma
Доступ к странице модели: посетите страницу модели Hugging Face
Аутентификация: войдите в систему или создайте учетную запись
Настройка: установите параметры модели
Отправка подсказок: введите текстовые, изображенческие или видеоподсказки
Тонкая настройка: настройте параметры для конкретных задач
Варианты использования DiffusionGemma
- Генерация текста
- Извлечение данных из изображений
- Понимание видео
- Многоязычная поддержка
- Исследования и образование










