설명
Vocode는 대형 언어 모델에 의해 구동되는 음성 기반 애플리케이션을 구축하기 위한 오픈 소스 Python 라이브러리로, vocode-core 리포지토리로 게시되었습니다. 이 라이브러리는 사람과 LLM 지원 에이전트 간의 실시간 스트리밍 대화를 실행하는 데 필요한 추상화, 오케스트레이션 및 통합을 제공합니다.
더 읽기
이 라이브러리는 음성 대화를 위한 여러 진입점을 지원합니다: 컴퓨터의 시스템 오디오와 마이크를 통해 대화를 실행하거나, LLM 에이전트가 수신 전화를 응답하는 전화번호를 설정하거나, 관리되는 번호에서 발신 전화를 걸거나, Zoom 통화에 다이얼하는 것입니다. 또한 LangChain 에이전트의 도구 세트의 일환으로 발신 전화를 사용하는 통합을 문서화합니다.
Vocode는 단일 고정 스택이 아닌 교체 가능한 공급자를 중심으로 구축되었습니다. 전사(음성을 텍스트로 변환)에는 AssemblyAI, Deepgram, Gladia, Google Cloud, Microsoft Azure, RevAI 및 OpenAI의 Whisper(호스팅 및 로컬 whisper.cpp)를 포함한 서비스와 통합됩니다. 대화형 에이전트 자체는 OpenAI 및 Anthropic 모델과 통합됩니다. 음성 합성(텍스트를 음성으로 변환)에는 Rime.ai, Microsoft Azure, Google Cloud, Play.ht, ElevenLabs, Cartesia, 오픈 소스 Coqui TTS, gTTS, StreamElements 및 AWS Polly와 같은 공급자를 지원합니다. Vocode 기반 에이전트를 위한 웹 프론트 엔드를 구축하기 위해 별도로 동반 React SDK가 게시됩니다.
이 프로젝트는 MIT 라이선스를 가지고 있으며, 약 3,800개의 GitHub 스타를 보유하고 있으며, 아카이브되지 않았습니다. Vocode는 커뮤니티 지향적입니다: README에는 프로젝트가 커뮤니티 유지 관리자를 적극적으로 찾고 있으며 새로운 기능, 통합 및 문서에 대한 기여를 환영한다고 명시되어 있습니다. 이는 공개 Discord 서버와 문서화된 기여 가이드를 통해 조정됩니다.
설치는 단일 `pip install vocode`로 이루어지며, 프로젝트의 빠른 시작 예제는 Deepgram 전사기, OpenAI ChatGPT 기반 에이전트 및 Azure 음성 합성기를 몇 줄의 Python 코드로 연결하여 작동하는 스트리밍 대화를 보여줍니다. 전체 문서화는 self-hosted 전화 설정을 포함하여 docs.vocode.dev에 게시됩니다.
- 카테고리AI 음성 에이전트
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
Vocode의 핵심 기능
실시간 스트리밍 음성 대화를 위한 오픈 소스 Python 라이브러리
컴퓨터의 마이크와 스피커를 통해 대화를 실행하는 시스템 오디오 모드
관리되는 전화번호를 통한 수신 및 발신 전화 통화 지원
Zoom 통화 다이얼인 지원
LangChain 에이전트의 발신 전화를 위한 LangChain 통합
교체 가능한 전사 공급자(AssemblyAI, Deepgram, Gladia, Google Cloud, Azure, RevAI, Whisper, whisper.cpp)
교체 가능한 LLM 에이전트 백엔드(OpenAI, Anthropic)
교체 가능한 음성 합성 공급자(ElevenLabs, Cartesia, Azure, Google Cloud, Play.ht, Coqui, gTTS, StreamElements, AWS Polly)
Vocode 에이전트를 위한 웹 인터페이스 구축을 위한 동반 React SDK
MIT 라이선스, 커뮤니티 기여 및 유지 관리에 열려 있음
Vocode 시작하기
라이브러리 설치: Python 환경에서 `pip install vocode` 실행
공급자 키 구성: 사용할 전사, LLM 및 합성 공급자의 API 키 설정
대화 조립: 전사기, 에이전트 및 합성기를 인스턴스화한 후 StreamingConversation 객체에 연결
로컬에서 실행: 제공된 빠른 시작을 사용하여 시스템 마이크와 스피커를 통해 대화 테스트
전화 연결 추가: self-hosted 전화 가이드를 따라 수신 또는 발신 전화번호 연결
배포 및 확장: 다양한 공급자를 교체하거나 Zoom 다이얼인 에이전트와 같은 사용자 지정 사용 사례를 위해 라이브러리 확장
Vocode의 사용 사례
- 맞춤형 전화 음성 에이전트
- 음성 비서 프로토타입
- Zoom 기반 음성 에이전트
- LangChain 음성 도구
