Описание
EmbeddingGemma 2 — это продвинутая мультимодальная модель встраивания, созданная Google DeepMind. Она интегрирует текст, изображения, видео и аудио в одно 768-мерное векторное пространство, что делает её подходящей для различных приложений, таких как поиск, классификация и кластеризация. Модель состоит из 740 миллионов параметров, включая текстовый каркас с 270 миллионами параметров и модульные кодировщики для визуальных и аудио данных.
Читать далее
Разработанная для эффективной работы на потребительском оборудовании, EmbeddingGemma 2 предоставляет семантические представления с низкой задержкой для приложений на устройствах. Она поддерживает более 100 языков и демонстрирует улучшение на 14% в задачах с кодом по сравнению с предшественником. Модель включает в себя обучение представлениям «Матрешка», позволяющее сокращать встраивания для уменьшения затрат на хранение при сохранении качества.
EmbeddingGemma 2 предлагает гибкий след, позволяя разработчикам загружать только необходимые модальности для их случая использования. Она поддерживает контекстное окно размером 8,192 токена, способное обрабатывать обширный аудио или видео контент. Модель использует представления, управляемые задачами, оптимизируя встраивания для различных задач с помощью легковесных префиксов текстовых инструкций.
Архитектура модели включает 24 слоя, скрытое измерение 2048 и размер словаря 262,144. Она использует управляемые сети прямого распространения с активацией GELU и средним объединением. EmbeddingGemma 2 была оценена по нескольким бенчмаркам, показывая значительные улучшения в задачах встраивания текста, кода, изображений, видео и аудио.
Хотя EmbeddingGemma 2 мощная, пользователи должны быть осведомлены о её ограничениях, таких как предвзятости в обучающих данных и сложности с открытыми задачами. Разработчиков призывают внедрять меры предосторожности на уровне приложений для обеспечения ответственного использования.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о EmbeddingGemma 2
Мультимодальное встраивание
Поддержка более 100 языков
740M параметров
Приложения на устройствах с низкой задержкой
Обучение представлениям «Матрешка»
Представления, управляемые задачами
Контекстное окно 8,192 токена
Гибкий след
Начало работы с EmbeddingGemma 2
Доступ к модели: посетите Hugging Face
Аутентификация: настройте доступ к API
Настройка окружения: установите библиотеки
Интеграция через API: используйте конечные точки модели
Оптимизация: примените префиксы задач
Варианты использования EmbeddingGemma 2
- Семантический поиск
- Классификация текста
- Кластеризация
- Семантическое сходство
- Проверка фактов










