Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

Apriel Voice 27B Preview

AI-моделиИИ-модели и LLMОткрытый код · Веб

Apriel Voice 27B Preview — это открытая модель аудио-текст-в-текст от ServiceNow, созданная с использованием 27 миллиардов параметров и архитектуры Transformers. Она обрабатывает устные запросы, анализирует контекст разговора и генерирует текстовые ответы и вызовы инструментов. Эта модель улучшает интерактивные голосовые помощники, поддержку клиентов и использование инструментов с помощью голосового интерфейса, сохраняя при этом возможности ввода текста и изображений.

Открыть модель
Поделиться
Открыть модель
Поделиться

Apriel Voice 27B Preview — это продвинутая открытая модель, разработанная ServiceNow для обработки речи, анализа и использования инструментов. Эта модель аудио-текст-в-текст, имеющая 27 миллиардов параметров, основана на архитектуре Transformers и использует общую основу Gemma 4. Она предназначена для понимания устных запросов, ведения анализа контекста разговора и генерации как текстовых ответов, так и структурированных вызовов инструментов.

Читать далее

Модель значительно расширяет возможности, интегрируя голосовой интерфейс, при этом сохраняя свои оригинальные функции ввода текста и изображений. Это делает Apriel Voice 27B Preview высоко универсальной для разработки интерактивных голосовых помощников, оптимизации рабочих процессов поддержки клиентов и обеспечения использования инструментов с помощью голоса. В сочетании с внешним синтезатором речи она может поддерживать приложения для голосового взаимодействия в реальном времени.

Ключевые возможности включают всестороннее понимание речи, охватывающее транскрипцию, перевод и ответы на устные вопросы. Она превосходно справляется с анализом и использованием инструментов, позволяя следовать сложным инструкциям, обрабатывать многоступенчатые запросы и генерировать структурированные вызовы инструментов. Модель поддерживает мультимодальный контекст, обрабатывая аудио, текст, изображения и результаты инструментов в рамках общего разговора. Для голосовых приложений она генерирует текстовые ответы, которые затем сопоставляются с внешним синтезом речи, с управлением очередностью взаимодействия.

С технической точки зрения Apriel Voice 27B Preview соединяет кодировщик речи Whisper large-v3-turbo с основой Gemma 4 26B-A4B через обученный проектор. Процесс ее обучения включает в себя выравнивание голосового интерфейса, а затем его адаптацию с основой с использованием задач речи и воспроизведения текста. Модель поддерживает длинные аудиовходы, автоматически разбивая записи моно на 30-секундные фрагменты, и показала хорошие результаты на непрерывных записях до 30 минут, с поддержкой более длительных периодов при определенных условиях.

Метрики производительности подчеркивают ее эффективность, достигая 51.27% EVA-A, 74.13% EVA-X и 65.51% успеха задачи τ-Voice, со средней задержкой ответа τ-Voice в 1.91 секунды. На LibriSpeech она демонстрирует уровень ошибок слов 2.23% на test-clean и 5.15% на test-other. Модель доступна для стандартного и оптимизированного обслуживания через образы Docker, предоставляя совместимый с OpenAI API для интеграции. Она выпущена под лицензией MIT.

  • КатегорияИИ-модели и LLM
  • Модель ценообразованияОткрытый код
  • РазвёртываниеОблако
  • ПлатформыВеб

  • Модель Аудио-Текст-в-Текст: Обрабатывает устные запросы и генерирует текстовые ответы.

  • 27 миллиардов параметров: Модель большого масштаба для сложных задач.

  • Архитектура Transformers: Создана с использованием надежной и широко используемой структуры глубокого обучения.

  • Понимание речи: Поддерживает транскрипцию, перевод и ответы на устные вопросы.

  • Анализ и использование инструментов: Следует инструкциям, обрабатывает многоступенчатые запросы и генерирует структурированные вызовы инструментов.

  • Мультимодальный контекст: Интегрирует аудио, текст, изображения и результаты инструментов в разговорах.

  • Голосовые приложения: Генерирует текстовые ответы для внешнего синтеза речи в интерактивных голосовых помощниках.

  • Основная структура Gemma 4: Использует общую основу Gemma 4 26B-A4B для основной обработки.

  • Кодировщик Whisper large-v3-turbo: Соединяет голосовой интерфейс через обученный проектор.

  • Поддержка длинного аудио: Автоматически разбивает записи на 30-секундные фрагменты, поддерживая непрерывность до 30 минут.

  • Совместимый с OpenAI API: Предоставляет API для легкой интеграции и вывода.

  • Образы Docker для обслуживания: Предлагает стандартные и оптимизированные образы vLLM Docker для развертывания.

  • Лицензия MIT: Доступна для использования по лицензии с открытым исходным кодом.

  • Высокие показатели производительности: Достигает сильных результатов в EVA-A, EVA-X и успехе задачи τ-Voice.

  • Низкий уровень ошибок слов: Демонстрирует конкурентоспособный WER на тестах распознавания английской речи.

  1. Доступ к модели: Скачайте или изучите файлы модели Apriel Voice 27B Preview на Hugging Face.

  2. Настройка окружения: Используйте предоставленный образ Docker vLLM (например, `docker.io/amant555/vllm_apriel_voice:plain-26b-v0.32.0`) для обслуживания.

  3. Обслуживание модели: Запустите образ Docker на соответствующем оборудовании GPU, открыв совместимый с OpenAI API на порту 8000.

  4. Настройка длительности аудио: Отрегулируйте `VLLM_MAX_AUDIO_DECODE_DURATION_S` и `--max-num-batched-tokens` для желаемой длины аудиовходов.

  5. Интеграция через API: Отправляйте аудио или текстовые входы на обслуживаемый совместимый с OpenAI API, используя имя модели `Apriel-Voice-27B`.

  6. Обработка ответов: Обрабатывайте текстовые ответы и проверяйте `response.choices[0].message.tool_calls` для вывода вызовов функций.

  7. Сопоставление с синтезатором: Интегрируйте внешний синтезатор речи для взаимодействия в реальном времени в приложениях.

  8. Оптимизация производительности: Используйте оптимизированный образ Docker (`docker.io/amant555/vllm_apriel_voice:optimised-26b-v0.32.0`) для повышения пропускной способности.

  • Интерактивные голосовые помощники
  • Автоматизация поддержки клиентов
  • Использование инструментов с помощью голоса
  • Транскрипция речи
  • Перевод речи
  • Ответы на устные вопросы
  • Мультимодальный разговорный ИИ
  • Следование инструкциям
  • Взаимодействие в реальном времени с голосом

От ServiceNow

Отзывы о Apriel Voice 27B Preview

Загрузка...

Популярные ИИ-инструменты, похожие на Apriel Voice 27B Preview

Gemma 3-27B IT Model

AI-модели

Gemma 3-27B IT — это современная мультимодальная модель ИИ от Google, способная обрабатывать текстовые и графические входные данные для генерации текстовых выходов. Она…

ИИ-модели и LLM
Открыть инструмент

AI-модели

Современная мультимодальная модель ИИ от Google, способная обрабатывать текстовые и графические входные данные для генерации текстовых выходов. Она…Gemma 3-27B IT — это современная мультимодальная модель ИИ от Google, способная обрабатывать текстовые и графические входные данные для генерации текстовых выходов. Она…

ИИ-модели и LLM
Топ-5: AI-модели

Модель Gemma 3n

AI-модели

Gemma 3n — это семейство легковесных, открытых AI моделей от Google, предназначенных для эффективного выполнения на устройствах с ограниченными ресурсами. Она поддерживает…

ИИ-модели и LLM
Открыть инструмент

AI-модели

Gemma 3n — это семейство легковесных, открытых AI моделей от Google, предназначенных для эффективного выполнения на устройствах с ограниченными ресурсами. Она поддерживает…

ИИ-модели и LLM
Топ-5: AI-модели

Inkling — это многомодальная модель ИИ с 975 миллиардами параметров, разработанная для разработчиков. Она принимает текстовые, изображенческие и аудиовходы, генерируя текстовые…

РекомендованоИИ-модели и LLM
Топ-5: AI-модели

Gemma 3-4B — это современная мультимодальная модель ИИ от Google, способная обрабатывать текстовые и графические входные данные для генерации текстовых выходов. Она поддерживает…

ИИ-модели и LLM
Открыть инструмент

Gemma 3-4B — это современная мультимодальная модель ИИ от Google, способная обрабатывать текстовые и графические входные данные для генерации текстовых выходов. Она поддерживает…

ИИ-модели и LLM
Топ-5: AI-модели

Gemma-3n-E4B-it — это легкая, современная модель ИИ от Google, предназначенная для эффективного выполнения на устройствах с ограниченными ресурсами. Она поддерживает…

ИИ-модели и LLM
Открыть инструмент

Gemma-3n-E4B-it — это легкая, современная модель ИИ от Google, предназначенная для эффективного выполнения на устройствах с ограниченными ресурсами. Она поддерживает…

ИИ-модели и LLM
Топ-5: AI-модели

Модель Bark AI

AI-модели

Bark — это модель преобразования текста в аудио на основе трансформеров от Suno, способная генерировать реалистичную многоязычную речь и другие аудиоформы. Она поддерживает…

ИИ-модели и LLM
Открыть инструмент

AI-модели

Bark — это модель преобразования текста в аудио на основе трансформеров от Suno, способная генерировать реалистичную многоязычную речь и другие аудиоформы. Она поддерживает…

ИИ-модели и LLM
Топ-5: AI-модели

Gemma 4 12B Unified Model от Google DeepMind — это мультимодальная модель ИИ, предназначенная для эффективного локального выполнения. Она поддерживает текстовые, графические и…

ИИ-модели и LLM
Открыть инструмент

Gemma 4 12B Unified Model от Google DeepMind — это мультимодальная модель ИИ, предназначенная для эффективного локального выполнения. Она поддерживает текстовые, графические и…

ИИ-модели и LLM
Топ-5: AI-модели

NVIDIA NemotronLabs VoiceChat — это модель речи с полным дуплексом в реальном времени для разговорного ИИ. Она интегрирует понимание и генерацию речи в одной архитектуре, снижая…

ИИ-модели и LLM
Открыть инструмент

Модель речи с полным дуплексом в реальном времени для разговорного ИИ. Она интегрирует понимание и генерацию речи в одной архитектуре, снижая…NVIDIA NemotronLabs VoiceChat — это модель речи с полным дуплексом в реальном времени для разговорного ИИ. Она интегрирует понимание и генерацию речи в одной архитектуре, снижая…

ИИ-модели и LLM
Топ-5: AI-модели
1 из 8