Описание
Vocode — это библиотека Python с открытым исходным кодом, опубликованная в репозитории vocode-core, для создания голосовых приложений, работающих на основе больших языковых моделей. Она предоставляет абстракции, оркестрацию и интеграции, необходимые для проведения потокового разговора в реальном времени между человеком и агентом на базе LLM.
Читать далее
Библиотека поддерживает несколько точек входа для голосового разговора: проведение разговора через системный звук и микрофон компьютера, создание телефонного номера, который отвечает на входящие звонки с агентом LLM, осуществление исходящих звонков с управляемого номера или подключение к звонку в Zoom. Она также документирует интеграцию для использования исходящего телефонного звонка как части набора инструментов агента LangChain.
Vocode построена вокруг заменяемых провайдеров, а не одной фиксированной стеки. Для транскрипции (речь в текст) она интегрируется с такими сервисами, как AssemblyAI, Deepgram, Gladia, Google Cloud, Microsoft Azure, RevAI и Whisper от OpenAI (как хостинг, так и локальный whisper.cpp). Для самого разговорного агента она интегрируется с моделями OpenAI и Anthropic. Для синтеза речи (текст в речь) она поддерживает провайдеров, включая Rime.ai, Microsoft Azure, Google Cloud, Play.ht, ElevenLabs, Cartesia, открытый Coqui TTS, gTTS, StreamElements и AWS Polly. Отдельный SDK React опубликован для создания веб-интерфейсов вокруг агентов на базе Vocode.
Проект лицензирован по MIT, имеет около 3,800 звезд на GitHub и не архивирован. Vocode ориентирована на сообщество: в README указано, что проект активно ищет участников сообщества для поддержки и приветствует вклад в новые функции, интеграции и документацию, координируемую через публичный сервер Discord и документированное руководство по вкладу.
Установка осуществляется с помощью одной команды `pip install vocode`, а быстрый старт проекта демонстрирует соединение транскриптора Deepgram, агента на базе OpenAI ChatGPT и синтезатора речи Azure в работающий потоковый разговор всего за несколько десятков строк Python. Полная документация, включая настройку саморазмещенной телефонии, опубликована на docs.vocode.dev.
- КатегорияAI-голосовые агенты
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции Vocode
Библиотека Python с открытым исходным кодом для создания потоковых голосовых разговоров в реальном времени с LLM
Режим системного звука для проведения разговора через микрофон и динамики компьютера
Поддержка входящих и исходящих телефонных звонков через управляемый номер
Поддержка подключения к звонкам в Zoom
Интеграция LangChain для исходящих звонков от агента LangChain
Заменяемые провайдеры транскрипции (AssemblyAI, Deepgram, Gladia, Google Cloud, Azure, RevAI, Whisper, whisper.cpp)
Заменяемые бэкенды агентов LLM (OpenAI, Anthropic)
Заменяемые провайдеры синтеза речи (ElevenLabs, Cartesia, Azure, Google Cloud, Play.ht, Coqui, gTTS, StreamElements, AWS Polly)
Сопутствующий SDK React для создания веб-интерфейсов вокруг агентов Vocode
Лицензия MIT, открыта для вклада сообщества и поддержки
Начало работы с Vocode
Установите библиотеку: выполните `pip install vocode` в среде Python
Настройте ключи провайдеров: установите API-ключи для провайдеров транскрипции, LLM и синтеза, которые вы планируете использовать
Соберите разговор: создайте экземпляр транскриптора, агента и синтезатора, затем соедините их в объект StreamingConversation
Запустите локально: протестируйте разговор через микрофон и динамики вашей системы, используя предоставленный быстрый старт
Добавьте телефонию: следуйте руководству по саморазмещенной телефонии, чтобы подключить входящие или исходящие телефонные номера
Разверните и расширьте: замените провайдеров или расширьте библиотеку для пользовательского случая использования, такого как агент для подключения к Zoom
Варианты использования Vocode
- Пользовательские голосовые агенты для телефонов
- Прототипы голосовых помощников
- Голосовые агенты на базе Zoom
- Инструменты голосовой связи LangChain
