Описание
Youtu-Parsing-Omni — это компактная модель парсинга с омни-модальностью, предназначенная для обработки широкого спектра входных данных, включая страницы документов, естественные изображения, диаграммы, блок-схемы, геометрические фигуры, аудиоклипы и видео. Эта модель производит структурированный JSON-вывод, который охватывает как задачи восприятия, так и когниции. Задачи восприятия включают элементы макета, текст, таблицы, формулы, ограничивающие рамки, временные метки, ASR, OCR, акустические события и движение камеры.
Читать далее
Задачи когниции включают генерацию подписей, нарративов и отчетов.
Модель работает с использованием единого шаблона, известного как OmniSchema, который обеспечивает согласованный формат вывода для различных задач. Она включает один Youtu-Omni-Encoder, который заменяет традиционные отдельные блоки для пикселей и аудио, улучшая возможности чтения текста. Модель инициализируется из предварительно обученной языковой модели текста и использует тонкие модальность-специфические стебли для сопоставления пикселей и лог-мел-кадров с токенами. Общий двунаправленный трансформер контекстуализирует входные данные, а модальность-специфические слияния и проекторы передают токены декодеру Youtu-LLM.
Youtu-Parsing-Omni известна своей высокой производительностью, несмотря на небольшой размер, достигая передовых результатов на OmniDocBench v1.6 и конкурентоспособных результатов на OmniParsingBench. Она особенно эффективна в специализированных задачах, таких как распознавание химических структур и распознавание музыкальных партитур. Модель легко развернуть, включая плагин vLLM и закрепленные настройки обслуживания.
Способности аудиовизуального слияния модели позволяют осуществлять кросс-модальное выравнивание внутри кодировщика, обеспечивая обработку кадров и аудиофрагментов в временном порядке. Этот подход улучшает способность модели обрабатывать сложные входные данные, такие как видео с синхронизированным аудио и визуальными элементами. Youtu-Parsing-Omni доступна для загрузки на таких платформах, как Hugging Face и ModelScope, что делает ее доступной для разработчиков и исследователей, ищущих надежное решение для парсинга.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Youtu-Parsing-Omni
Модель парсинга с омни-модальностью
Единый шаблон для JSON-вывода
Единый Youtu-Omni-Encoder
Передовая производительность
Возможности аудиовизуального слияния
Компактный размер модели
Легкость развертывания с плагином vLLM
Поддержка различных типов входных данных
Начало работы с Youtu-Parsing-Omni
Доступ к модели: посетите Hugging Face
Аутентификация: настройте учетные данные
Настройка окружения: установите зависимости
Интеграция через API: используйте предоставленные примеры
Оптимизация: настройте параметры для повышения производительности
Варианты использования Youtu-Parsing-Omni
- Парсинг документов
- Анализ изображений
- Интерпретация диаграмм
- Обработка аудио
- Анализ видео
