Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

Apriel Voice 27B Preview

Apriel Voice 27B Preview est un modèle audio-texte-à-texte ouvert de ServiceNow, construit avec 27 milliards de paramètres et des Transformers. Il traite les demandes vocales, raisonne sur le contexte conversationnel et génère des réponses textuelles et des appels d'outils. Ce modèle améliore les assistants vocaux interactifs, le support client et l'utilisation d'outils parlés en ajoutant une interface vocale tout en conservant les capacités d'entrée de texte et d'image.

Voir le modèle
Partager
Voir le modèle
Partager

Apriel Voice 27B Preview est un modèle avancé ouvert développé par ServiceNow pour la parole, le raisonnement et l'utilisation d'outils. Ce modèle audio-texte-à-texte, doté de 27 milliards de paramètres, est construit sur l'architecture des Transformers et s'appuie sur un socle Gemma 4 partagé. Il est conçu pour comprendre les demandes vocales, s'engager dans le raisonnement sur le contexte conversationnel et générer à la fois des réponses textuelles et des appels d'outils structurés.

Lire la suite

Le modèle élargit considérablement ses capacités en intégrant une interface vocale, tout en maintenant ses fonctionnalités d'entrée de texte et d'image d'origine. Cela rend Apriel Voice 27B Preview très polyvalent pour le développement d'assistants vocaux interactifs, l'optimisation des flux de travail du support client et la facilitation de l'utilisation d'outils parlés. Lorsqu'il est associé à un synthétiseur vocal externe, il peut alimenter des applications vocales en temps réel.

Les capacités clés incluent une compréhension complète de la parole, englobant la transcription, la traduction et la réponse à des questions posées oralement. Il excelle dans le raisonnement et l'utilisation d'outils, lui permettant de suivre des instructions complexes, de gérer des demandes en plusieurs étapes et de générer des appels d'outils structurés. Le modèle prend en charge le contexte multimodal, traitant l'audio, le texte, les images et les résultats d'outils dans un cadre conversationnel partagé. Pour les applications vocales, il génère des réponses textuelles qui sont ensuite associées à une synthèse vocale externe, avec une gestion des tours de parole par l'application.

Techniquement, Apriel Voice 27B Preview connecte un encodeur vocal Whisper large-v3-turbo au socle Gemma 4 26B-A4B via un projecteur appris. Son processus d'entraînement implique l'alignement de l'interface vocale puis son adaptation avec le socle en utilisant des tâches vocales et une répétition de texte. Le modèle prend en charge de longues entrées audio, divisant automatiquement les enregistrements mono à 16 kHz en morceaux de 30 secondes, et a montré de bonnes performances sur des enregistrements continus allant jusqu'à 30 minutes, avec un support pour des durées plus longues dans des conditions spécifiques.

Les métriques de performance soulignent son efficacité, atteignant 51,27 % EVA-A, 74,13 % EVA-X et 65,51 % de succès dans la tâche τ-Voice, avec une latence moyenne de réponse τ-Voice de 1,91 seconde. Sur LibriSpeech, il démontre un taux d'erreur de mots de 2,23 % sur test-clean et de 5,15 % sur test-other. Le modèle est disponible pour un service standard et optimisé via des images Docker, fournissant une API compatible avec OpenAI pour l'intégration. Il est publié sous une licence MIT.

  • CatégorieModèles d'IA et LLM
  • Modèle tarifaireOpen source
  • DéploiementCloud
  • PlateformesWeb

  • Modèle Audio-texte-à-texte : Traite les demandes vocales et génère des réponses textuelles.

  • 27 milliards de paramètres : Un modèle à grande échelle pour des tâches complexes.

  • Architecture des Transformers : Construit avec un cadre d'apprentissage profond robuste et largement utilisé.

  • Compréhension de la parole : Prend en charge la transcription, la traduction et la réponse à des questions orales.

  • Raisonnement et utilisation d'outils : Suit les instructions, gère les demandes en plusieurs étapes et génère des appels d'outils structurés.

  • Contexte multimodal : Intègre l'audio, le texte, les images et les résultats d'outils dans les conversations.

  • Applications vocales : Génère des réponses textuelles pour la synthèse vocale externe dans des assistants vocaux interactifs.

  • Socle Gemma 4 : Utilise un socle Gemma 4 26B-A4B partagé pour le traitement central.

  • Encodeur Whisper large-v3-turbo : Connecte l'interface vocale via un projecteur appris.

  • Support audio long : Divise automatiquement les enregistrements en morceaux de 30 secondes, prenant en charge jusqu'à 30 minutes en continu.

  • API compatible avec OpenAI : Fournit une API pour une intégration et une inférence faciles.

  • Images Docker pour le service : Offre des images Docker vLLM standard et optimisées pour le déploiement.

  • Licence MIT : Disponible pour utilisation sous une licence open-source.

  • Métriques de performance élevées : Obtient de bons résultats dans les tâches EVA-A, EVA-X et τ-Voice.

  • Faible taux d'erreur de mots : Démontre un WER compétitif sur les benchmarks de reconnaissance vocale en anglais.

  1. Accéder au modèle : Téléchargez ou explorez les fichiers du modèle Apriel Voice 27B Preview sur Hugging Face.

  2. Configurer l'environnement : Utilisez l'image Docker vLLM fournie (par exemple, `docker.io/amant555/vllm_apriel_voice:plain-26b-v0.32.0`) pour le service.

  3. Servir le modèle : Exécutez l'image Docker sur un matériel GPU approprié, exposant une API compatible avec OpenAI sur le port 8000.

  4. Configurer la durée audio : Ajustez `VLLM_MAX_AUDIO_DECODE_DURATION_S` et `--max-num-batched-tokens` pour les longueurs d'entrée audio souhaitées.

  5. Intégrer via l'API : Envoyez des entrées audio ou textuelles à l'API compatible avec OpenAI servie en utilisant le nom du modèle `Apriel-Voice-27B`.

  6. Traiter les réponses : Gérez les réponses textuelles et inspectez `response.choices[0].message.tool_calls` pour les sorties d'appels de fonction.

  7. Associer avec un synthétiseur : Intégrez un synthétiseur vocal externe pour une interaction vocale en temps réel dans les applications.

  8. Optimiser les performances : Utilisez l'image Docker optimisée (`docker.io/amant555/vllm_apriel_voice:optimised-26b-v0.32.0`) pour un meilleur débit.

  • Assistants vocaux interactifs
  • Automatisation du support client
  • Utilisation d'outils parlés
  • Transcription de la parole
  • Traduction de la parole
  • Réponse à des questions orales
  • IA conversationnelle multimodale
  • Suivi d'instructions
  • Interaction vocale en temps réel

Chez ServiceNow

Avis sur Apriel Voice 27B Preview

Chargement...

Outils IA populaires comme Apriel Voice 27B Preview

Gemma 3-27B IT est un modèle d'IA multimodal de pointe développé par Google, capable de traiter des entrées textuelles et d'image pour générer des sorties textuelles. Il prend en…

Modèles d'IA et LLM
Voir l'outil

Gemma 3-27B IT est un modèle d'IA multimodal de pointe développé par Google, capable de traiter des entrées textuelles et d'image pour générer des sorties textuelles. Il prend en…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

Modèle Gemma 3n

Modèles IA

Gemma 3n est une famille de modèles d'IA légers et open-source développés par Google, conçus pour une exécution efficace sur des appareils à faibles ressources. Il prend en charge…

Modèles d'IA et LLM
Voir l'outil

Modèles IA

Gemma 3n est une famille de modèles d'IA légers et open-source développés par Google, conçus pour une exécution efficace sur des appareils à faibles ressources. Il prend en charge…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

Gemma 3-4B est un modèle d'IA multimodal de pointe développé par Google, capable de traiter des entrées textuelles et d'image pour générer des sorties textuelles. Il prend en…

Modèles d'IA et LLM
Voir l'outil

Gemma 3-4B est un modèle d'IA multimodal de pointe développé par Google, capable de traiter des entrées textuelles et d'image pour générer des sorties textuelles. Il prend en…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

Gemma-3n-E4B-it est un modèle d'IA léger et à la pointe de la technologie développé par Google, conçu pour une exécution efficace sur des appareils à faibles ressources. Il prend…

Modèles d'IA et LLM
Voir l'outil

Gemma-3n-E4B-it est un modèle d'IA léger et à la pointe de la technologie développé par Google, conçu pour une exécution efficace sur des appareils à faibles ressources. Il prend…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

Modèle AI Bark

Modèles IA

Bark est un modèle de texte à audio basé sur un transformateur développé par Suno, capable de générer une parole réaliste multilingue et d'autres formes audio. Il soutient la…

Modèles d'IA et LLM
Voir l'outil

Modèles IA

Bark est un modèle de texte à audio basé sur un transformateur développé par Suno, capable de générer une parole réaliste multilingue et d'autres formes audio. Il soutient la…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

Le Modèle Unifié Gemma 4 12B de Google DeepMind est un modèle d'IA multimodal conçu pour une exécution locale efficace. Il prend en charge les entrées de texte, d'image et…

Modèles d'IA et LLM
Voir l'outil

Le Modèle Unifié Gemma 4 12B de Google DeepMind est un modèle d'IA multimodal conçu pour une exécution locale efficace. Il prend en charge les entrées de texte, d'image et…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA

NVIDIA NemotronLabs VoiceChat est un modèle de parole en temps réel et en duplex intégral pour l'IA conversationnelle. Il intègre la compréhension et la génération de la parole…

Modèles d'IA et LLM
Voir l'outil

Modèle de parole en temps réel et en duplex intégral pour l'IA conversationnelle. Il intègre la compréhension et la génération de la parole…NVIDIA NemotronLabs VoiceChat est un modèle de parole en temps réel et en duplex intégral pour l'IA conversationnelle. Il intègre la compréhension et la génération de la parole…

Modèles d'IA et LLM
Voir le Top 5 Modèles IA
1 sur 8