Описание
NVIDIA NemotronLabs VoiceChat — это продвинутая модель ИИ, предназначенная для взаимодействий в реальном времени. Это модель речи с полным дуплексом, которая интегрирует потоковое понимание и генерацию речи в одной архитектуре. Эта модель устраняет необходимость в нескольких моделях или передаче API, значительно снижая задержку от начала до конца и улучшая естественный поток разговоров.
Читать далее
Модель работает с аудиосигналами, которые кодируются с помощью быстрого модуля конформера. Эти аудиотокены затем обрабатываются основой Nemotron Nano V2 9B LLM для предсказания текстовых токенов, которые затем передаются в декодер TTS для генерации речи агента. Отдельный выходной канал используется для предсказания сценариев вызова инструментов, что делает ее первой открытой моделью с полным дуплексом, поддерживающей вызов инструментов при сохранении естественного потока разговора.
NVIDIA NemotronLabs VoiceChat особенно полезна для исследователей, разработчиков и профессионалов в области обработки естественного языка и технологий речи. Она подходит для таких приложений, как автоматическое распознавание речи, синтез речи из текста и разработка голосовых помощников. Модель оптимизирована для работы на системах с ускорением NVIDIA GPU, используя аппаратные и программные фреймворки NVIDIA для достижения более быстрых времен обучения и вывода.
Архитектура модели является гибридной Mamba/Transformer с 11 миллиардами параметров, предлагая замечательный компромисс между интеллектом и задержкой. Она поддерживает глобальное развертывание и регулируется Лицензионным соглашением OpenMDW, версия 1.1. Модель была выпущена 3 августа 2026 года и была обучена на разнообразных наборах данных, включая как реальные, так и синтетические данные речи.
Результаты бенчмаркинга подчеркивают ее возможности, модель заняла второе место среди открытых моделей с полным дуплексом на VoiceBench и Full-Duplex-Bench 1.0. Она также превосходит в точности выбора инструментов на Full-Duplex-Bench v3. Несмотря на свои продвинутые возможности, пользователи должны быть осведомлены о известных ограничениях, выявленных в ходе обширного внутреннего тестирования.
- КатегорияИИ-модели и LLM
- РазвёртываниеОблако
- ПлатформыLinux
Главное о NVIDIA NemotronLabs VoiceChat
Модель речи с полным дуплексом в реальном времени
Интегрированное понимание и генерация речи
Единая архитектура снижает задержку
Поддерживает вызов инструментов с естественным потоком
Оптимизирована для систем NVIDIA GPU
11 миллиардов параметров
Гибридная архитектура Mamba/Transformer
Поддержка глобального развертывания
Начало работы с NVIDIA NemotronLabs VoiceChat
Доступ к модели: посетите страницу Hugging Face
Аутентификация: используйте API-ключ
Настройка окружения: настройте NVIDIA GPU
Интеграция через API: используйте интерфейс WebSocket
Оптимизация: используйте библиотеки CUDA
Варианты использования NVIDIA NemotronLabs VoiceChat
- Распознавание речи
- Голосовые помощники
- Синтез речи из текста
- Вызов инструментов
- Взаимодействие в реальном времени
