Описание
TwelveLabs — это корпоративная платформа видеоинтеллекта и API, основанная на мультимодальных моделях, ориентированных на видео. Она позволяет разработчикам создавать приложения с семантическим поиском видео, мультимодальным пониманием видео и векторизацией видео, обрабатывая визуальные, аудио, речевые данные и текст на экране вместе, чтобы пользователи могли искать, анализировать и делать выводы на основе видео-контента.
С помощью семантического поиска вы можете запрашивать целые библиотеки видео на естественном языке, чтобы находить конкретные действия, сцены, диалоги и даже человеческие эмоции на протяжении часов или лет видеозаписей без необходимости в тегах. Платформа также сегментирует контент по сценам и темпу, генерирует текст, такой как резюме, главы и основные моменты, поддерживает сканирование на соответствие и безопасность бренда, а также производит векторы для создания функций поиска, классификации и рекомендаций. Ее инфраструктура обрабатывает мультимодальные данные через единую цепочку на скорости около 60 раз быстрее реального времени, индексируя час видео примерно за минуту при более чем 10 000 часах в день.
TwelveLabs построена на двух базовых моделях: Marengo, мультимодальной моделью векторизации, которая преобразует видео в пространственно-временные векторы, доступные для поиска по контенту на многих языках, и Pegasus, языковой моделью видео, которая делает выводы на протяжении всего временного арка актива до примерно двух часов. Она интегрируется через API, SDK и MCP и используется в медиа и развлечениях, рекламе, спорте, государственном секторе и безопасности.
Платформа сертифицирована по стандарту SOC 2 Type II с обработкой зашифрованных данных и может развертываться в облачных, частных облачных, локальных или изолированных средах. Она предлагает бесплатный тариф для тестирования (менее 10 часов индексации), а также планы для разработчиков и предприятий с оплатой по мере использования.
Основные функции TwelveLabs
Семантический поиск на естественном языке по всем библиотекам видео
Мультимодальное понимание по визуальным, аудио, речевым данным и тексту на экране
Векторизация видео для поиска, классификации и рекомендаций
Генерация текста из видео (резюме, главы, основные моменты)
Автоматическая сегментация контента и сканирование на соответствие
Высокоскоростная обработка на скорости ~60 раз быстрее реального времени, более 10 000 часов в день
Модель векторизации Marengo и языковая модель видео Pegasus
Доступ через API, SDK и MCP с гибким развертыванием в облаке, локально и в изолированных средах
Как использовать TwelveLabs?
Индексируйте ваше видео: Загружайте вашу библиотеку через API или SDK.
Ищите или анализируйте: Запрашивайте моменты на естественном языке или запрашивайте резюме и инсайты.
Генерируйте векторы: Преобразуйте видео в векторы для поиска, классификации или рекомендаций.
Интегрируйте: Встраивайте функции в ваше приложение через API, SDK или MCP.
Разворачивайте: Запускайте в облаке, частном облаке, локально или в изолированной среде.
Варианты использования TwelveLabs
- Поиск в медиаархиве
- Генерация основных моментов и клипов
- Контекстное размещение рекламы
- Соответствие и безопасность бренда
- Безопасность и обзор инцидентов
