Описание
NVIDIA Nemotron 3.5 Transcribe — это сложная модель автоматического распознавания речи (ASR), содержащая 34 миллиарда параметров (4.3 миллиарда активных) и включающая аудиокодер. Её архитектура представляет собой гибридную модель языка Mamba-2–Transformer Mixture of Experts, дополненную параллельным экспертным кодером для ASR и распознавания говорящих.
Читать далее
Модель разработана для достижения высокой точности, настройки и дообучения, что делает её мощным инструментом для разработчиков и исследователей.
Эта модель поддерживает широкий спектр задач, включая дословную и письменную транскрипцию, контекстную транскрипцию, транскрипцию с атрибуцией говорящего, богатую транскрипцию, перевод речи, идентификацию языка и ответ на вопросы по аудио. Она владеет 40 языками с различными уровнями качества от «Ведущий» до «Поддерживаемый» в разных регионах и возможностях, таких как ASR, перевод, многоголосый ASR и кодовое переключение.
Nemotron 3.5 Transcribe оптимизирована для развертывания на оборудовании NVIDIA, требуя 1× H100 80 ГБ для оптимальной производительности. Она поддерживает точность BF16, а также доступны варианты FP8 и NVFP4. Модель может обрабатывать записи длиной до 1 часа и имеет длину контекста 65,536 токенов. Входные данные включают аудио (WAV, FLAC, MP3, OGG) и текст, генерируя текстовые выходные данные с опциональными временными метками слов.
Модель демонстрирует выдающуюся производительность по различным бенчмаркам, включая многоголосый ASR, контроль стиля, английский ASR, долгосрочный ASR и многоязычный ASR. Её руководство по подсказкам предлагает гибкие варианты для различных случаев использования, таких как генерация исследовательских транскриптов, читаемого текста для субтитров, транскрипция специализированной лексики, идентификация говорящих, перевод речи и ответы на вопросы из аудиозаписей.
NVIDIA Nemotron 3.5 Transcribe лицензирована по лицензии OpenMDW-1.1, обеспечивая ясные условия использования. Она предназначена для разработчиков и исследователей, создающих приложения для работы с речью и аудио, которые требуют специфической оценки и проверки. Мощные возможности модели и обширная поддержка языков делают её универсальным решением для сложных задач обработки и понимания аудио.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыLinux, Windows
Главное о NVIDIA Nemotron 3.5 Transcribe
34 миллиарда параметров (4.3B активных) с аудиокодером
Гибридная архитектура Mamba-2–Transformer Mixture of Experts
Поддержка точности BF16, FP8 и NVFP4
Длина контекста 65,536 токенов для записей до 1 часа
Обработка аудио и текстовых входных данных, вывод текста с опциональными временными метками слов
Поддержка 40 языков для транскрипции и перевода
Выполнение дословной и письменной транскрипции
Предоставление контекстной и транскрипции с атрибуцией говорящего
Включает возможности богатой транскрипции и перевода речи
Функции идентификации языка и ответов на вопросы по аудио
Оптимизирована для развертывания на оборудовании NVIDIA H100 80 ГБ
Нативное предсказание многотокенов (MTP) для спекулятивного декодирования
Конфигурируемый режим рассуждений через шаблон чата
Достижение высокой точности по нескольким бенчмаркам ASR
Лицензия OpenMDW-1.1
Начало работы с NVIDIA Nemotron 3.5 Transcribe
Доступ к модели: Получите доступ к модели NVIDIA Nemotron 3.5 Transcribe через Hugging Face.
Настройка окружения: Настройте ваше окружение с необходимым оборудованием NVIDIA (например, H100 80 ГБ) и средами выполнения вывода (vLLM, Hugging Face Transformers).
Подготовка входных данных: Предоставьте аудиофайлы в форматах WAV, FLAC, MP3 или OGG и/или текстовые подсказки.
Формулировка подсказок: Используйте рекомендуемые структуры подсказок для конкретных задач, таких как дословный ASR, чистые транскрипты, атрибуция говорящих или перевод речи.
Отправка запроса: Отправьте запросы на сервер модели, указывая режимы декодирования и настройки рассуждений.
Обработка вывода: Получите сгенерированные текстовые выходные данные, которые могут включать транскрипты, переводы, теги говорящих или ответы на аудиовопросы.
Интеграция программного обеспечения: Интегрируйте модель в приложения, используя поддерживаемые архитектуры и операционные системы (Linux, Windows через WSL2).
Варианты использования NVIDIA Nemotron 3.5 Transcribe
- Исследовательские транскрипты
- Субтитры и заметки
- Транскрипция технических обсуждений
- Рабочие процессы обзора встреч
- Диктовка и голосовые интерфейсы
- Многоязычная локализация медиа
- Поиск и понимание аудио
- Транскрипция с кодовым переключением
- Восстановление структурированных значений
- Запросы голосового помощника







