Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

NVIDIA Nemotron 3.5 Transcribe

AI-моделиИИ-модели и LLMОткрытый код · Linux, Windows

NVIDIA Nemotron 3.5 Transcribe — это модель автоматического распознавания речи с 34 миллиардами параметров, созданная с использованием NeMo. Она обеспечивает высокую точность для транскрипции, перевода и понимания аудио на 40 языках. Модель поддерживает различные задачи, включая контекстную транскрипцию, транскрипцию с атрибуцией говорящего и перевод речи, что делает её подходящей для разнообразных приложений в области речи и аудио.

Открыть модель
Поделиться
Открыть модель
Поделиться

NVIDIA Nemotron 3.5 Transcribe — это сложная модель автоматического распознавания речи (ASR), содержащая 34 миллиарда параметров (4.3 миллиарда активных) и включающая аудиокодер. Её архитектура представляет собой гибридную модель языка Mamba-2–Transformer Mixture of Experts, дополненную параллельным экспертным кодером для ASR и распознавания говорящих.

Читать далее

Модель разработана для достижения высокой точности, настройки и дообучения, что делает её мощным инструментом для разработчиков и исследователей.

Эта модель поддерживает широкий спектр задач, включая дословную и письменную транскрипцию, контекстную транскрипцию, транскрипцию с атрибуцией говорящего, богатую транскрипцию, перевод речи, идентификацию языка и ответ на вопросы по аудио. Она владеет 40 языками с различными уровнями качества от «Ведущий» до «Поддерживаемый» в разных регионах и возможностях, таких как ASR, перевод, многоголосый ASR и кодовое переключение.

Nemotron 3.5 Transcribe оптимизирована для развертывания на оборудовании NVIDIA, требуя 1× H100 80 ГБ для оптимальной производительности. Она поддерживает точность BF16, а также доступны варианты FP8 и NVFP4. Модель может обрабатывать записи длиной до 1 часа и имеет длину контекста 65,536 токенов. Входные данные включают аудио (WAV, FLAC, MP3, OGG) и текст, генерируя текстовые выходные данные с опциональными временными метками слов.

Модель демонстрирует выдающуюся производительность по различным бенчмаркам, включая многоголосый ASR, контроль стиля, английский ASR, долгосрочный ASR и многоязычный ASR. Её руководство по подсказкам предлагает гибкие варианты для различных случаев использования, таких как генерация исследовательских транскриптов, читаемого текста для субтитров, транскрипция специализированной лексики, идентификация говорящих, перевод речи и ответы на вопросы из аудиозаписей.

NVIDIA Nemotron 3.5 Transcribe лицензирована по лицензии OpenMDW-1.1, обеспечивая ясные условия использования. Она предназначена для разработчиков и исследователей, создающих приложения для работы с речью и аудио, которые требуют специфической оценки и проверки. Мощные возможности модели и обширная поддержка языков делают её универсальным решением для сложных задач обработки и понимания аудио.

  • КатегорияИИ-модели и LLM
  • Модель ценообразованияОткрытый код
  • РазвёртываниеОблако
  • ПлатформыLinux, Windows

  • 34 миллиарда параметров (4.3B активных) с аудиокодером

  • Гибридная архитектура Mamba-2–Transformer Mixture of Experts

  • Поддержка точности BF16, FP8 и NVFP4

  • Длина контекста 65,536 токенов для записей до 1 часа

  • Обработка аудио и текстовых входных данных, вывод текста с опциональными временными метками слов

  • Поддержка 40 языков для транскрипции и перевода

  • Выполнение дословной и письменной транскрипции

  • Предоставление контекстной и транскрипции с атрибуцией говорящего

  • Включает возможности богатой транскрипции и перевода речи

  • Функции идентификации языка и ответов на вопросы по аудио

  • Оптимизирована для развертывания на оборудовании NVIDIA H100 80 ГБ

  • Нативное предсказание многотокенов (MTP) для спекулятивного декодирования

  • Конфигурируемый режим рассуждений через шаблон чата

  • Достижение высокой точности по нескольким бенчмаркам ASR

  • Лицензия OpenMDW-1.1

  1. Доступ к модели: Получите доступ к модели NVIDIA Nemotron 3.5 Transcribe через Hugging Face.

  2. Настройка окружения: Настройте ваше окружение с необходимым оборудованием NVIDIA (например, H100 80 ГБ) и средами выполнения вывода (vLLM, Hugging Face Transformers).

  3. Подготовка входных данных: Предоставьте аудиофайлы в форматах WAV, FLAC, MP3 или OGG и/или текстовые подсказки.

  4. Формулировка подсказок: Используйте рекомендуемые структуры подсказок для конкретных задач, таких как дословный ASR, чистые транскрипты, атрибуция говорящих или перевод речи.

  5. Отправка запроса: Отправьте запросы на сервер модели, указывая режимы декодирования и настройки рассуждений.

  6. Обработка вывода: Получите сгенерированные текстовые выходные данные, которые могут включать транскрипты, переводы, теги говорящих или ответы на аудиовопросы.

  7. Интеграция программного обеспечения: Интегрируйте модель в приложения, используя поддерживаемые архитектуры и операционные системы (Linux, Windows через WSL2).

  • Исследовательские транскрипты
  • Субтитры и заметки
  • Транскрипция технических обсуждений
  • Рабочие процессы обзора встреч
  • Диктовка и голосовые интерфейсы
  • Многоязычная локализация медиа
  • Поиск и понимание аудио
  • Транскрипция с кодовым переключением
  • Восстановление структурированных значений
  • Запросы голосового помощника

От NVIDIA

Отзывы о NVIDIA Nemotron 3.5 Transcribe

Загрузка...

Популярные ИИ-инструменты, похожие на NVIDIA Nemotron 3.5 Transcribe

Nemotron 3.5 ASR

AI-модели

Nemotron 3.5 ASR — это многоязычная потоковая модель автоматического распознавания речи от NVIDIA, поддерживающая транскрипцию на 40 языках. Она предлагает высококачественную…

ИИ-инструменты транскрипции
Открыть инструмент

AI-модели

Многоязычная потоковая модель автоматического распознавания речи от NVIDIA, поддерживающая транскрипцию на 40 языках. Она предлагает высококачественную…Nemotron 3.5 ASR — это многоязычная потоковая модель автоматического распознавания речи от NVIDIA, поддерживающая транскрипцию на 40 языках. Она предлагает высококачественную…

ИИ-инструменты транскрипции
Топ-5: AI-модели

Nemotron 3 Диаризация — это модель диаризации спикеров, которая определяет, 'кто говорил когда' в аудиозаписях. Она поддерживает до восьми спикеров и предлагает как потоковую, так…

ИИ-модели и LLM
Открыть инструмент

Модель диаризации спикеров, которая определяет, 'кто говорил когда' в аудиозаписях. Она поддерживает до восьми спикеров и предлагает как потоковую, так…Nemotron 3 Диаризация — это модель диаризации спикеров, которая определяет, 'кто говорил когда' в аудиозаписях. Она поддерживает до восьми спикеров и предлагает как потоковую, так…

ИИ-модели и LLM
Топ-5: AI-модели

NVIDIA Parakeet — это модель автоматического распознавания речи с 600 миллионами параметров, предназначенная для высококачественной транскрипции на английском языке,…

ИИ-модели и LLM
Открыть инструмент

NVIDIA Parakeet — это модель автоматического распознавания речи с 600 миллионами параметров, предназначенная для высококачественной транскрипции на английском языке,…

ИИ-модели и LLM
Топ-5: AI-модели

NVIDIA Nemotron 3 Ultra — мощная AI модель, предназначенная для сложного рассуждения и многоязычных задач. С 550 миллиардами параметров она превосходно справляется с анализом…

ИИ-модели и LLM
Открыть инструмент

Мощная AI модель, предназначенная для сложного рассуждения и многоязычных задач. С 550 миллиардами параметров она превосходно справляется с анализом…NVIDIA Nemotron 3 Ultra — мощная AI модель, предназначенная для сложного рассуждения и многоязычных задач. С 550 миллиардами параметров она превосходно справляется с анализом…

РекомендованоИИ-модели и LLM
Топ-5: AI-модели

Whisper Large V3 Turbo

AI-модели

Whisper Large V3 Turbo — это современная модель для автоматического распознавания речи и перевода, оптимизированная для скорости с уменьшенным количеством слоев декодирования. Она…

ИИ-модели и LLM
Открыть инструмент

AI-модели

Современная модель для автоматического распознавания речи и перевода, оптимизированная для скорости с уменьшенным количеством слоев декодирования. Она…Whisper Large V3 Turbo — это современная модель для автоматического распознавания речи и перевода, оптимизированная для скорости с уменьшенным количеством слоев декодирования. Она…

ИИ-модели и LLM
Топ-5: AI-модели

NVIDIA Nemotron 3.5 Super VL — это крупная языковая модель, предназначенная для обработки текста, изображений и видео. Она имеет гибридную архитектуру Mamba-2–Transformer и лучше…

ИИ-модели и LLM

№16 в LLM

Открыть инструмент

Крупная языковая модель, предназначенная для обработки текста, изображений и видео. Она имеет гибридную архитектуру Mamba-2–Transformer и лучше…NVIDIA Nemotron 3.5 Super VL — это крупная языковая модель, предназначенная для обработки текста, изображений и видео. Она имеет гибридную архитектуру Mamba-2–Transformer и лучше…

ИИ-модели и LLM
№16 в LLM

whisper-large-v3

AI-модели

Whisper-large-v3 — это продвинутая модель для автоматического распознавания речи и перевода речи, обученная на более чем 5 миллионах часов данных. Она предлагает улучшенную…

ИИ-модели и LLM
Открыть инструмент

AI-модели

Продвинутая модель для автоматического распознавания речи и перевода речи, обученная на более чем 5 миллионах часов данных. Она предлагает улучшенную…Whisper-large-v3 — это продвинутая модель для автоматического распознавания речи и перевода речи, обученная на более чем 5 миллионах часов данных. Она предлагает улучшенную…

РекомендованоИИ-модели и LLM
Топ-5: AI-модели

Mistral Large 3 — это современная модель ИИ, разработанная для предприятий, позволяющая настраивать, дообучать и развертывать ИИ-ассистентов и агентов. Она имеет архитектуру…

ИИ-модели и LLM
Открыть инструмент

Современная модель ИИ, разработанная для предприятий, позволяющая настраивать, дообучать и развертывать ИИ-ассистентов и агентов. Она имеет архитектуру…Mistral Large 3 — это современная модель ИИ, разработанная для предприятий, позволяющая настраивать, дообучать и развертывать ИИ-ассистентов и агентов. Она имеет архитектуру…

РекомендованоИИ-модели и LLM
Топ-5: AI-модели
1 из 8