Описание
Apriel Voice 27B Preview — это продвинутая открытая модель, разработанная ServiceNow для обработки речи, анализа и использования инструментов. Эта модель аудио-текст-в-текст, имеющая 27 миллиардов параметров, основана на архитектуре Transformers и использует общую основу Gemma 4. Она предназначена для понимания устных запросов, ведения анализа контекста разговора и генерации как текстовых ответов, так и структурированных вызовов инструментов.
Читать далее
Модель значительно расширяет возможности, интегрируя голосовой интерфейс, при этом сохраняя свои оригинальные функции ввода текста и изображений. Это делает Apriel Voice 27B Preview высоко универсальной для разработки интерактивных голосовых помощников, оптимизации рабочих процессов поддержки клиентов и обеспечения использования инструментов с помощью голоса. В сочетании с внешним синтезатором речи она может поддерживать приложения для голосового взаимодействия в реальном времени.
Ключевые возможности включают всестороннее понимание речи, охватывающее транскрипцию, перевод и ответы на устные вопросы. Она превосходно справляется с анализом и использованием инструментов, позволяя следовать сложным инструкциям, обрабатывать многоступенчатые запросы и генерировать структурированные вызовы инструментов. Модель поддерживает мультимодальный контекст, обрабатывая аудио, текст, изображения и результаты инструментов в рамках общего разговора. Для голосовых приложений она генерирует текстовые ответы, которые затем сопоставляются с внешним синтезом речи, с управлением очередностью взаимодействия.
С технической точки зрения Apriel Voice 27B Preview соединяет кодировщик речи Whisper large-v3-turbo с основой Gemma 4 26B-A4B через обученный проектор. Процесс ее обучения включает в себя выравнивание голосового интерфейса, а затем его адаптацию с основой с использованием задач речи и воспроизведения текста. Модель поддерживает длинные аудиовходы, автоматически разбивая записи моно на 30-секундные фрагменты, и показала хорошие результаты на непрерывных записях до 30 минут, с поддержкой более длительных периодов при определенных условиях.
Метрики производительности подчеркивают ее эффективность, достигая 51.27% EVA-A, 74.13% EVA-X и 65.51% успеха задачи τ-Voice, со средней задержкой ответа τ-Voice в 1.91 секунды. На LibriSpeech она демонстрирует уровень ошибок слов 2.23% на test-clean и 5.15% на test-other. Модель доступна для стандартного и оптимизированного обслуживания через образы Docker, предоставляя совместимый с OpenAI API для интеграции. Она выпущена под лицензией MIT.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Apriel Voice 27B Preview
Модель Аудио-Текст-в-Текст: Обрабатывает устные запросы и генерирует текстовые ответы.
27 миллиардов параметров: Модель большого масштаба для сложных задач.
Архитектура Transformers: Создана с использованием надежной и широко используемой структуры глубокого обучения.
Понимание речи: Поддерживает транскрипцию, перевод и ответы на устные вопросы.
Анализ и использование инструментов: Следует инструкциям, обрабатывает многоступенчатые запросы и генерирует структурированные вызовы инструментов.
Мультимодальный контекст: Интегрирует аудио, текст, изображения и результаты инструментов в разговорах.
Голосовые приложения: Генерирует текстовые ответы для внешнего синтеза речи в интерактивных голосовых помощниках.
Основная структура Gemma 4: Использует общую основу Gemma 4 26B-A4B для основной обработки.
Кодировщик Whisper large-v3-turbo: Соединяет голосовой интерфейс через обученный проектор.
Поддержка длинного аудио: Автоматически разбивает записи на 30-секундные фрагменты, поддерживая непрерывность до 30 минут.
Совместимый с OpenAI API: Предоставляет API для легкой интеграции и вывода.
Образы Docker для обслуживания: Предлагает стандартные и оптимизированные образы vLLM Docker для развертывания.
Лицензия MIT: Доступна для использования по лицензии с открытым исходным кодом.
Высокие показатели производительности: Достигает сильных результатов в EVA-A, EVA-X и успехе задачи τ-Voice.
Низкий уровень ошибок слов: Демонстрирует конкурентоспособный WER на тестах распознавания английской речи.
Начало работы с Apriel Voice 27B Preview
Доступ к модели: Скачайте или изучите файлы модели Apriel Voice 27B Preview на Hugging Face.
Настройка окружения: Используйте предоставленный образ Docker vLLM (например, `docker.io/amant555/vllm_apriel_voice:plain-26b-v0.32.0`) для обслуживания.
Обслуживание модели: Запустите образ Docker на соответствующем оборудовании GPU, открыв совместимый с OpenAI API на порту 8000.
Настройка длительности аудио: Отрегулируйте `VLLM_MAX_AUDIO_DECODE_DURATION_S` и `--max-num-batched-tokens` для желаемой длины аудиовходов.
Интеграция через API: Отправляйте аудио или текстовые входы на обслуживаемый совместимый с OpenAI API, используя имя модели `Apriel-Voice-27B`.
Обработка ответов: Обрабатывайте текстовые ответы и проверяйте `response.choices[0].message.tool_calls` для вывода вызовов функций.
Сопоставление с синтезатором: Интегрируйте внешний синтезатор речи для взаимодействия в реальном времени в приложениях.
Оптимизация производительности: Используйте оптимизированный образ Docker (`docker.io/amant555/vllm_apriel_voice:optimised-26b-v0.32.0`) для повышения пропускной способности.
Варианты использования Apriel Voice 27B Preview
- Интерактивные голосовые помощники
- Автоматизация поддержки клиентов
- Использование инструментов с помощью голоса
- Транскрипция речи
- Перевод речи
- Ответы на устные вопросы
- Мультимодальный разговорный ИИ
- Следование инструкциям
- Взаимодействие в реальном времени с голосом









