Описание
Nemotron 3 Диаризация — это продвинутая модель диаризации спикеров, разработанная NVIDIA, предназначенная для точного определения 'кто говорил когда' в реальных аудиосценариях. Эта модель способна обрабатывать до восьми спикеров одновременно, что делает её идеальной для сложных аудиосред, таких как собрания, подкасты и телефонные разговоры.
Читать далее
Модель поддерживает как потоковую, так и оффлайн-инференцию, обеспечивая гибкость для различных случаев использования. Потоковая инференция использует кеш спикеров по порядку прибытия (AOSC) и очередь FIFO для поддержания идентичности спикеров с течением времени, обеспечивая последовательные результаты диаризации. Архитектура модели включает 31-слойный трансформер с ротационными позиционными эмбеддингами, который обрабатывает входные признаки мел-спектрограммы с частотой 10 мс.
Nemotron 3 Диаризация оптимизирована для систем с ускорением на GPU от NVIDIA, включая графические процессоры Ampere, Ada Lovelace, Blackwell и Hopper. Она интегрирована с фреймворком NeMo, что позволяет легко развертывать её в AI-системах. Модель обучена на разнообразных наборах данных, включая реальные разговоры и смоделированные аудиосмеси с несколькими спикерами, что обеспечивает надежную производительность в различных аудиусловиях.
Модель доступна для коммерческого и некоммерческого использования в соответствии с Лицензионным соглашением OpenMDW, версия 1.1. Она предоставляет настраиваемое разрешение выходных кадров и поддерживает инференцию по частям, позволяя записывать без фиксированной максимальной продолжительности. Nemotron 3 Диаризация — это ценный инструмент для приложений, требующих точной идентификации спикеров и отслеживания активности.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый исходный код
- РазвёртываниеОблако
- ПлатформыLinux
Главное о Nemotron 3 Диаризация
Поддержка до 8 спикеров
Потоковая и оффлайн-инференция
Архитектура трансформера с 31 слоем
Ротационные позиционные эмбеддинги
Интеграция с фреймворком NeMo
Оптимизация для GPU от NVIDIA
Настраиваемое разрешение выходных кадров
Лицензионное соглашение OpenMDW
Начало работы с Nemotron 3 Диаризация
Доступ к модели: посетите Hugging Face
Аутентификация: настройте фреймворк NeMo
Настройка окружения: установите зависимости
Интеграция через API: используйте конвейеры NeMo
Оптимизация: настройте параметры задержки
Варианты использования Nemotron 3 Диаризация
- Анализ встреч
- Производство подкастов
- Телефонные разговоры
- Распознавание речи
- Транскрипция аудио
