Lyra Speech Codec

Описание

Lyra — это новаторский кодек для сжатия речи, разработанный для обеспечения высококачественной голосовой связи даже в самых ограниченных сетевых условиях. Разработанный Google, Lyra решает давнюю проблему поддержания разборчивости и естественности речи при чрезвычайно низких битрейтах, что исторически приводило к роботизированной или искаженной речи.

Основная инновация Lyra заключается в его гибридном подходе, сочетающем традиционные методы кодирования с передовым машинным обучением. Кодек извлекает отличительные речевые атрибуты, известные как признаки, каждые 40 миллисекунд. Эти признаки, представленные в виде лог-мел-спектрограмм, затем сжимаются для передачи. На принимающей стороне генеративная модель, вдохновленная такими моделями, как WaveNet от DeepMind, восстанавливает речевой сигнал, используя эти сжатые признаки. Этот метод позволяет Lyra достигать низких битрейтов, характерных для параметрических кодеков, при этом обеспечивая качество звука, сравнимое с передовыми волновыми кодеками.

В отличие от традиционных волновых кодеков, которые сжимают аудио по выборке, требуя более высоких битрейтов, генеративный подход Lyra более эффективен. Ключевой проблемой генеративных моделей является вычислительная сложность, но Lyra смягчает ее, используя экономичную рекуррентную генеративную модель, вариант WaveRNN. Эта модель работает с более низкой частотой, но параллельно генерирует несколько сигналов в различных частотных диапазонах, которые затем объединяются в один выходной сигнал. Эта оптимизация позволяет Lyra работать не только на облачных серверах, но и в режиме реального времени на мобильных устройствах среднего класса с задержкой обработки 90 мс, что соответствует отраслевым стандартам.

Lyra разработан для работы с целевым битрейтом 3 кбит/с, что значительно превосходит существующие кодеки на этом уровне. Прослушивание показывает, что Lyra выгодно отличается от Opus при 8 кбит/с, представляя собой снижение пропускной способности более чем на 60%. Это делает Lyra идеальным решением для сред, где пропускная способность недостаточна для кодеков с более высоким битрейтом или где существующие варианты с низким битрейтом не обеспечивают достаточного качества. Кодек был обучен на тысячах часов речевых данных более чем на 70 языках, что обеспечивает надежность и справедливость для глобальной пользовательской базы. Google активно внедряет Lyra в свои продукты, такие как Duo, для повышения качества и надежности аудиозвонков при низкоскоростных соединениях, при этом проводятся исследования по дальнейшей оптимизации производительности и расширению применения на неречевые аудиосценарии.

Главное о Lyra Speech Codec

• Высококачественное сжатие речи при очень низких битрейтах

• Использует машинное обучение и генеративные модели для восстановления речи

• Работает с целевым битрейтом 3 кбит/с

• Обеспечивает снижение пропускной способности более чем на 60% по сравнению с Opus при 8 кбит/с

• Производительность в реальном времени на мобильных устройствах среднего класса

• Задержка обработки 90 мс

• Обучен на тысячах часов речевых данных более чем на 70 языках

• Гибридный подход, сочетающий традиционные методы кодирования с машинным обучением

• Использует экономичный вариант WaveRNN для генеративного моделирования

• Обеспечивает голосовую связь в медленных и перегруженных сетях

• Разработан для эффективной передачи данных и хранения голосовых сигналов

Начало работы с Lyra Speech Codec

1. 1

   Доступ к модели: Интегрируйте Lyra в ваше приложение или сервис.

2. 2

   Настройка среды: Убедитесь, что доступны необходимые вычислительные ресурсы.

3. 3

   Интеграция через API: Используйте API Lyra для кодирования и декодирования речевых сигналов.

4. 4

   Оптимизация: Настройте параметры для конкретных сетевых условий и желаемых уровней качества.

Варианты использования Lyra Speech Codec

• Связь с низкой пропускной способностью
• Мобильные голосовые вызовы
• Развивающиеся рынки
• Совместная работа в реальном времени
• VoIP-приложения
• Видеоконференции

Часто задаваемые вопросы Lyra Speech Codec

• Что такое Lyra и какую проблему он решает?

  Lyra — это кодек для речи с очень низким битрейтом, разработанный Google, который использует машинное обучение для обеспечения высококачественной голосовой связи даже в медленных сетях, решая проблему снижения качества звука при низких битрейтах.

• Как Lyra достигает высокого качества при низких битрейтах?

  Lyra извлекает речевые признаки, сжимает их, а затем использует генеративную модель машинного обучения для восстановления речевого сигнала, сохраняя естественность и разборчивость в отличие от традиционных параметрических кодеков.

• Каков целевой битрейт для Lyra?

  Lyra разработан для работы с целевым битрейтом 3 кбит/с.

• Как Lyra сравнивается с другими кодеками, такими как Opus?

  Lyra при 3 кбит/с выгодно отличается от Opus при 8 кбит/с, предлагая значительное снижение пропускной способности более чем на 60% при сохранении сопоставимого или лучшего качества звука.

• Может ли Lyra работать на мобильных устройствах?

  Да, Lyra оптимизирован для работы в реальном времени на мобильных телефонах среднего класса благодаря своей эффективной генеративной модели.

• Какова задержка обработки Lyra?

  Lyra имеет задержку обработки 90 мс, что соответствует другим традиционным речевым кодекам.

• На каких данных был обучен Lyra?

  Lyra был обучен на тысячах часов речевых данных от говорящих более чем на 70 языках, чтобы обеспечить широкую применимость и справедливость.

• Каковы потенциальные области применения Lyra?

  Lyra может использоваться в голосовых и видеозвонках, фреймворках реального времени, таких как WebRTC, и везде, где требуется высококачественный звук в сетях с ограниченной пропускной способностью.

• Является ли Lyra открытым исходным кодом?

  В статье упоминается, что Lyra — это новый кодек, который внедряется в такие продукты, как Duo, но прямо не указано, является ли он открытым исходным кодом.

• Может ли Lyra использоваться для музыки или другого неречевого аудио?

  В настоящее время Lyra фокусируется на сжатии речи. Ведутся исследования по изучению его потенциала в качестве универсального аудиокодека, который мог бы обрабатывать музыку и другие сценарии использования.