Descrição
NVIDIA NemotronLabs VoiceChat é um modelo avançado de IA projetado para interações conversacionais em tempo real. É um modelo de fala duplex completo que integra compreensão e geração de fala em uma única arquitetura. Este modelo elimina a necessidade de múltiplos modelos ou transferências de API, reduzindo significativamente a latência de ponta a ponta e aprimorando o fluxo natural das conversas.
Ler mais
O modelo opera com sinais de áudio, que são codificados usando um módulo conformer rápido. Esses tokens de áudio são então processados pela estrutura LLM Nemotron Nano V2 9B para prever tokens de texto, que são posteriormente alimentados em um decodificador TTS para gerar a fala do agente. Um canal de saída separado é utilizado para prever scripts de chamada de ferramentas, tornando-se o primeiro modelo duplex completo aberto a suportar chamadas de ferramentas enquanto mantém um fluxo de conversa natural.
NVIDIA NemotronLabs VoiceChat é particularmente benéfico para pesquisadores, desenvolvedores e profissionais nas áreas de processamento de linguagem natural e tecnologia de fala. É adequado para aplicações como reconhecimento automático de fala, síntese de texto para fala e desenvolvimento de assistentes de voz. O modelo é otimizado para rodar em sistemas acelerados por GPU da NVIDIA, aproveitando as estruturas de hardware e software da NVIDIA para alcançar tempos de treinamento e inferência mais rápidos.
A arquitetura do modelo é uma híbrida Mamba/Transformer com 11 bilhões de parâmetros, oferecendo uma troca notável entre inteligência e latência. Ele suporta implantação global e é regido pelo Acordo de Licença OpenMDW, versão 1.1. O modelo foi lançado em 3 de agosto de 2026 e foi treinado em um conjunto diversificado de conjuntos de dados, incluindo dados de fala reais e sintéticos.
Os resultados de benchmarking destacam suas capacidades, com o modelo alcançando o segundo lugar entre modelos duplex completos abertos no VoiceBench e Full-Duplex-Bench 1.0. Ele também se destaca na precisão de seleção de ferramentas no Full-Duplex-Bench v3. Apesar de suas capacidades avançadas, os usuários devem estar cientes das limitações conhecidas identificadas por meio de extensos testes internos.
- CategoriaModelos de IA e LLMs
- ImplantaçãoNuvem
- PlataformasLinux
Destaques de NVIDIA NemotronLabs VoiceChat
Modelo de fala duplex completo em tempo real
Compreensão e geração de fala integradas
Arquitetura única reduz a latência
Suporta chamadas de ferramentas com fluxo natural
Otimizado para sistemas GPU da NVIDIA
11 bilhões de parâmetros
Arquitetura híbrida Mamba/Transformer
Suporte a implantação global
Primeiros passos com NVIDIA NemotronLabs VoiceChat
Acessar o modelo: Visite a página do Hugging Face
Autenticar: Use a chave da API
Configurar o ambiente: Configure a GPU da NVIDIA
Integrar via API: Use a interface WebSocket
Otimizar: Aproveite as bibliotecas CUDA
Casos de uso de NVIDIA NemotronLabs VoiceChat
- Reconhecimento de Fala
- Assistentes de Voz
- Texto para Fala
- Chamada de Ferramentas
- Interação em Tempo Real
