描述
Apriel Voice 27B Preview 是由 ServiceNow 开发的先进开放模型,专注于语音、推理和工具使用。该音频文本到文本模型具有 270 亿个参数,基于 Transformers 架构,并利用共享的 Gemma 4 骨干。它旨在理解口头请求,参与对话上下文的推理,并生成文本响应和结构化工具调用。
阅读更多
该模型通过集成语音接口显著扩展了功能,同时保持其原有的文本和图像输入功能。这使得 Apriel Voice 27B Preview 在开发互动语音助手、简化客户支持工作流程和实现口语工具使用方面具有高度的多功能性。当与外部语音合成器配对时,它可以驱动实时语音应用。
关键能力包括全面的语音理解,涵盖转录、翻译和口语问答。它在推理和工具使用方面表现出色,能够遵循复杂指令、处理多步骤请求并生成结构化工具调用。该模型支持多模态上下文,在共享对话框架内处理音频、文本、图像和工具结果。对于语音应用,它生成文本响应,然后与外部语音合成配对,并由应用管理轮流发言。
从技术上讲,Apriel Voice 27B Preview 通过学习的投影器将 Whisper large-v3-turbo 语音编码器连接到 Gemma 4 26B-A4B 骨干。其训练过程涉及对齐语音接口,然后使用语音任务和文本重放对其进行适配。该模型支持长音频输入,自动将 16 kHz 单声道录音拆分为 30 秒的片段,并在连续录音长达 30 分钟时表现良好,在特定条件下支持更长的录音。
性能指标突显了其有效性,EVA-A 达到 51.27%,EVA-X 达到 74.13%,τ-Voice 任务成功率为 65.51%,平均 τ-Voice 响应延迟为 1.91 秒。在 LibriSpeech 上,它在 test-clean 上的字错误率为 2.23%,在 test-other 上为 5.15%。该模型通过 Docker 镜像提供标准和优化服务,提供与 OpenAI 兼容的 API 以便集成。它在 MIT 许可证下发布。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
Apriel Voice 27B Preview亮点
音频文本到文本模型:处理口头请求并生成文本响应。
270 亿参数:用于复杂任务的大规模模型。
Transformers 架构:基于强大且广泛使用的深度学习框架构建。
语音理解:支持转录、翻译和口语问答。
推理和工具使用:遵循指令,处理多步骤请求并生成结构化工具调用。
多模态上下文:在对话中集成音频、文本、图像和工具结果。
语音应用:为互动语音助手生成文本响应以进行外部语音合成。
Gemma 4 骨干:利用共享的 Gemma 4 26B-A4B 骨干进行核心处理。
Whisper large-v3-turbo 编码器:通过学习的投影器连接语音接口。
长音频支持:自动将录音拆分为 30 秒的片段,支持连续录音长达 30 分钟。
与 OpenAI 兼容的 API:提供易于集成和推理的 API。
用于服务的 Docker 镜像:提供标准和优化的 vLLM Docker 镜像以便部署。
MIT 许可证:在开放源代码许可证下可用。
高性能指标:在 EVA-A、EVA-X 和 τ-Voice 任务成功率上取得强劲结果。
低字错误率:在英语语音识别基准测试中表现出竞争力的 WER。
Apriel Voice 27B Preview入门
访问模型:在 Hugging Face 上下载或浏览 Apriel Voice 27B Preview 模型文件。
设置环境:使用提供的 vLLM Docker 镜像(例如,`docker.io/amant555/vllm_apriel_voice:plain-26b-v0.32.0`)进行服务。
服务模型:在适当的 GPU 硬件上运行 Docker 镜像,在 8000 端口上暴露与 OpenAI 兼容的 API。
配置音频时长:调整 `VLLM_MAX_AUDIO_DECODE_DURATION_S` 和 `--max-num-batched-tokens` 以获得所需的音频输入长度。
通过 API 集成:使用模型名称 `Apriel-Voice-27B` 向服务的与 OpenAI 兼容的 API 发送音频或文本输入。
处理响应:处理文本响应并检查 `response.choices[0].message.tool_calls` 以获取功能调用输出。
与合成器配对:集成外部语音合成器以实现应用中的实时语音交互。
优化性能:利用优化的 Docker 镜像(`docker.io/amant555/vllm_apriel_voice:optimised-26b-v0.32.0`)以获得更高的吞吐量。
Apriel Voice 27B Preview的使用案例
- 互动语音助手
- 客户支持自动化
- 口语工具使用
- 语音转录
- 语音翻译
- 口语问答
- 多模态对话 AI
- 遵循指令
- 实时语音交互









