跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Apriel Voice 27B Preview

Apriel Voice 27B Preview 是来自 ServiceNow 的开放音频文本到文本模型,拥有 270 亿个参数和 Transformers。它处理口头请求,推理对话上下文,并生成文本响应和工具调用。该模型通过添加语音接口来增强互动语音助手、客户支持和口语工具使用,同时保留文本和图像输入功能。

查看模型
分享
查看模型
分享

Apriel Voice 27B Preview 是由 ServiceNow 开发的先进开放模型,专注于语音、推理和工具使用。该音频文本到文本模型具有 270 亿个参数,基于 Transformers 架构,并利用共享的 Gemma 4 骨干。它旨在理解口头请求,参与对话上下文的推理,并生成文本响应和结构化工具调用。

阅读更多

该模型通过集成语音接口显著扩展了功能,同时保持其原有的文本和图像输入功能。这使得 Apriel Voice 27B Preview 在开发互动语音助手、简化客户支持工作流程和实现口语工具使用方面具有高度的多功能性。当与外部语音合成器配对时,它可以驱动实时语音应用。

关键能力包括全面的语音理解,涵盖转录、翻译和口语问答。它在推理和工具使用方面表现出色,能够遵循复杂指令、处理多步骤请求并生成结构化工具调用。该模型支持多模态上下文,在共享对话框架内处理音频、文本、图像和工具结果。对于语音应用,它生成文本响应,然后与外部语音合成配对,并由应用管理轮流发言。

从技术上讲,Apriel Voice 27B Preview 通过学习的投影器将 Whisper large-v3-turbo 语音编码器连接到 Gemma 4 26B-A4B 骨干。其训练过程涉及对齐语音接口,然后使用语音任务和文本重放对其进行适配。该模型支持长音频输入,自动将 16 kHz 单声道录音拆分为 30 秒的片段,并在连续录音长达 30 分钟时表现良好,在特定条件下支持更长的录音。

性能指标突显了其有效性,EVA-A 达到 51.27%,EVA-X 达到 74.13%,τ-Voice 任务成功率为 65.51%,平均 τ-Voice 响应延迟为 1.91 秒。在 LibriSpeech 上,它在 test-clean 上的字错误率为 2.23%,在 test-other 上为 5.15%。该模型通过 Docker 镜像提供标准和优化服务,提供与 OpenAI 兼容的 API 以便集成。它在 MIT 许可证下发布。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • 音频文本到文本模型:处理口头请求并生成文本响应。

  • 270 亿参数:用于复杂任务的大规模模型。

  • Transformers 架构:基于强大且广泛使用的深度学习框架构建。

  • 语音理解:支持转录、翻译和口语问答。

  • 推理和工具使用:遵循指令,处理多步骤请求并生成结构化工具调用。

  • 多模态上下文:在对话中集成音频、文本、图像和工具结果。

  • 语音应用:为互动语音助手生成文本响应以进行外部语音合成。

  • Gemma 4 骨干:利用共享的 Gemma 4 26B-A4B 骨干进行核心处理。

  • Whisper large-v3-turbo 编码器:通过学习的投影器连接语音接口。

  • 长音频支持:自动将录音拆分为 30 秒的片段,支持连续录音长达 30 分钟。

  • 与 OpenAI 兼容的 API:提供易于集成和推理的 API。

  • 用于服务的 Docker 镜像:提供标准和优化的 vLLM Docker 镜像以便部署。

  • MIT 许可证:在开放源代码许可证下可用。

  • 高性能指标:在 EVA-A、EVA-X 和 τ-Voice 任务成功率上取得强劲结果。

  • 低字错误率:在英语语音识别基准测试中表现出竞争力的 WER。

  1. 访问模型:在 Hugging Face 上下载或浏览 Apriel Voice 27B Preview 模型文件。

  2. 设置环境:使用提供的 vLLM Docker 镜像(例如,`docker.io/amant555/vllm_apriel_voice:plain-26b-v0.32.0`)进行服务。

  3. 服务模型:在适当的 GPU 硬件上运行 Docker 镜像,在 8000 端口上暴露与 OpenAI 兼容的 API。

  4. 配置音频时长:调整 `VLLM_MAX_AUDIO_DECODE_DURATION_S` 和 `--max-num-batched-tokens` 以获得所需的音频输入长度。

  5. 通过 API 集成:使用模型名称 `Apriel-Voice-27B` 向服务的与 OpenAI 兼容的 API 发送音频或文本输入。

  6. 处理响应:处理文本响应并检查 `response.choices[0].message.tool_calls` 以获取功能调用输出。

  7. 与合成器配对:集成外部语音合成器以实现应用中的实时语音交互。

  8. 优化性能:利用优化的 Docker 镜像(`docker.io/amant555/vllm_apriel_voice:optimised-26b-v0.32.0`)以获得更高的吞吐量。

  • 互动语音助手
  • 客户支持自动化
  • 口语工具使用
  • 语音转录
  • 语音翻译
  • 口语问答
  • 多模态对话 AI
  • 遵循指令
  • 实时语音交互

ServiceNow 旗下产品

Apriel Voice 27B Preview 评价

加载中...

与 Apriel Voice 27B Preview 类似的热门AI工具

Gemma 3-27B IT 是谷歌推出的最先进的多模态 AI 模型,能够处理文本和图像输入以生成文本输出。它支持超过 140 种语言,并设计用于在资源有限的环境中高效部署。

AI 模型与大语言模型
查看工具

谷歌推出的最先进的多模态 AI 模型,能够处理文本和图像输入以生成文本输出。它支持超过 140 种语言,并设计用于在资源有限的环境中高效部署。Gemma 3-27B IT 是谷歌推出的最先进的多模态 AI 模型,能够处理文本和图像输入以生成文本输出。它支持超过 140 种语言,并设计用于在资源有限的环境中高效部署。

AI 模型与大语言模型
查看 AI 模型 Top 5

Gemma 3n 是谷歌推出的一系列轻量级开源 AI 模型,旨在低资源设备上高效执行。它支持多模态输入,包括文本、图像、视频和音频,并生成文本输出。这些模型通过选择性参数激活技术优化了性能。

AI 模型与大语言模型
查看工具

谷歌推出的一系列轻量级开源 AI 模型,旨在低资源设备上高效执行。它支持多模态输入,包括文本、图像、视频和音频,并生成文本输出。这些模型通过选择性参数激活技术优化了性能。Gemma 3n 是谷歌推出的一系列轻量级开源 AI 模型,旨在低资源设备上高效执行。它支持多模态输入,包括文本、图像、视频和音频,并生成文本输出。这些模型通过选择性参数激活技术优化了性能。

AI 模型与大语言模型
查看 AI 模型 Top 5

Inkling 是一个拥有 9750 亿参数的多模态 AI 模型,专为开发者设计。它接受文本、图像和音频输入,生成文本输出,适用于各种应用,包括聊天机器人和编码助手。以开放权重发布,支持研究和集成到第三方产品中。

AI 模型与大语言模型
查看工具

拥有 9750 亿参数的多模态 AI 模型,专为开发者设计。它接受文本、图像和音频输入,生成文本输出,适用于各种应用,包括聊天机器人和编码助手。以开放权重发布,支持研究和集成到第三方产品中。Inkling 是一个拥有 9750 亿参数的多模态 AI 模型,专为开发者设计。它接受文本、图像和音频输入,生成文本输出,适用于各种应用,包括聊天机器人和编码助手。以开放权重发布,支持研究和集成到第三方产品中。

精选AI 模型与大语言模型
查看 AI 模型 Top 5

Gemma 3-4B 是谷歌推出的最先进的多模态 AI 模型,能够处理文本和图像输入以生成文本输出。它支持超过 140 种语言,并设计用于在资源有限的环境中高效部署。

AI 模型与大语言模型
查看工具

谷歌推出的最先进的多模态 AI 模型,能够处理文本和图像输入以生成文本输出。它支持超过 140 种语言,并设计用于在资源有限的环境中高效部署。Gemma 3-4B 是谷歌推出的最先进的多模态 AI 模型,能够处理文本和图像输入以生成文本输出。它支持超过 140 种语言,并设计用于在资源有限的环境中高效部署。

AI 模型与大语言模型
查看 AI 模型 Top 5

Gemma-3n-E4B-it 是谷歌推出的一款轻量级、先进的人工智能模型,旨在低资源设备上高效执行。它支持多模态输入,处理文本、图像、视频和音频,并生成具有开放权重的文本输出,适用于预训练和指令调优的变体。

AI 模型与大语言模型
查看工具

谷歌推出的一款轻量级、先进的人工智能模型,旨在低资源设备上高效执行。它支持多模态输入,处理文本、图像、视频和音频,并生成具有开放权重的文本输出,适用于预训练和指令调优的变体。Gemma-3n-E4B-it 是谷歌推出的一款轻量级、先进的人工智能模型,旨在低资源设备上高效执行。它支持多模态输入,处理文本、图像、视频和音频,并生成具有开放权重的文本输出,适用于预训练和指令调优的变体。

AI 模型与大语言模型
查看 AI 模型 Top 5

Bark AI Model

AI 模型

Bark是Suno开发的基于变换器的文本到音频模型,能够生成真实的多语言语音和其他音频形式。它支持通过预训练模型检查点进行推理的研究。

AI 模型与大语言模型
查看工具

AI 模型

Suno开发的基于变换器的文本到音频模型,能够生成真实的多语言语音和其他音频形式。它支持通过预训练模型检查点进行推理的研究。Bark是Suno开发的基于变换器的文本到音频模型,能够生成真实的多语言语音和其他音频形式。它支持通过预训练模型检查点进行推理的研究。

AI 模型与大语言模型
查看 AI 模型 Top 5

Gemma 4 12B 统一模型由 Google DeepMind 开发,是一个多模态 AI 模型,旨在实现高效的本地执行。它支持文本、图像和音频输入,提供先进的推理和编码能力,并具有较大的上下文窗口。

AI 模型与大语言模型
查看工具

Gemma 4 12B 统一模型由 Google DeepMind 开发,是一个多模态 AI 模型,旨在实现高效的本地执行。它支持文本、图像和音频输入,提供先进的推理和编码能力,并具有较大的上下文窗口。

AI 模型与大语言模型
查看 AI 模型 Top 5

NVIDIA NemotronLabs VoiceChat 是一个实时全双工语音模型,用于对话式人工智能。它将语音理解和生成集成在一个架构中,减少延迟并增强自然对话流。

AI 模型与大语言模型
查看工具

实时全双工语音模型,用于对话式人工智能。它将语音理解和生成集成在一个架构中,减少延迟并增强自然对话流。NVIDIA NemotronLabs VoiceChat 是一个实时全双工语音模型,用于对话式人工智能。它将语音理解和生成集成在一个架构中,减少延迟并增强自然对话流。

AI 模型与大语言模型
查看 AI 模型 Top 5
1/8