Deskripsi
Vocode adalah pustaka Python sumber terbuka, diterbitkan sebagai repositori vocode-core, untuk membangun aplikasi berbasis suara yang didukung oleh model bahasa besar. Ini menyediakan abstraksi, orkestrasi, dan integrasi yang diperlukan untuk menjalankan percakapan streaming waktu nyata antara seseorang dan agen yang didukung LLM.
Baca Selengkapnya
Pustaka ini mendukung beberapa titik masuk untuk percakapan suara: menjalankan percakapan melalui audio sistem dan mikrofon komputer, menyiapkan nomor telepon yang menjawab panggilan masuk dengan agen LLM, melakukan panggilan keluar dari nomor yang dikelola, atau menghubungi panggilan Zoom. Ini juga mendokumentasikan integrasi untuk menggunakan panggilan telepon keluar sebagai bagian dari alat agen LangChain.
Vocode dibangun di sekitar penyedia yang dapat ditukar daripada tumpukan tetap tunggal. Untuk transkripsi (suara ke teks), ia terintegrasi dengan layanan termasuk AssemblyAI, Deepgram, Gladia, Google Cloud, Microsoft Azure, RevAI, dan Whisper dari OpenAI (baik yang dihosting maupun lokal whisper.cpp). Untuk agen percakapan itu sendiri, ia terintegrasi dengan model OpenAI dan Anthropic. Untuk sintesis suara (teks ke suara), ia mendukung penyedia termasuk Rime.ai, Microsoft Azure, Google Cloud, Play.ht, ElevenLabs, Cartesia, Coqui TTS sumber terbuka, gTTS, StreamElements, dan AWS Polly. SDK React pendamping diterbitkan secara terpisah untuk membangun antarmuka web di sekitar agen berbasis Vocode.
Proyek ini dilisensikan MIT, memiliki sekitar 3.800 bintang GitHub, dan tidak diarsipkan. Vocode berorientasi komunitas: README-nya menyatakan bahwa proyek ini secara aktif mencari pemelihara komunitas dan menyambut kontribusi fitur baru, integrasi, dan dokumentasi, yang dikoordinasikan melalui server Discord publik dan panduan kontribusi yang terdokumentasi.
Instalasi adalah satu perintah `pip install vocode`, dan quickstart proyek sendiri menunjukkan cara menghubungkan transcriber Deepgram, agen berbasis OpenAI ChatGPT, dan sintesis suara Azure menjadi percakapan streaming yang berfungsi dalam beberapa puluh baris Python. Dokumentasi lengkap, termasuk pengaturan telepon yang dihosting sendiri, diterbitkan di docs.vocode.dev.
- KategoriAgen Suara AI
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Fitur Inti Vocode
Pustaka Python sumber terbuka untuk membangun percakapan suara streaming waktu nyata dengan LLM
Mode audio sistem untuk menjalankan percakapan melalui mikrofon dan speaker komputer
Dukungan panggilan telepon masuk dan keluar melalui nomor telepon yang dikelola
Dukungan panggilan Zoom
Integrasi LangChain untuk panggilan keluar dari agen LangChain
Penyedia transkripsi yang dapat ditukar (AssemblyAI, Deepgram, Gladia, Google Cloud, Azure, RevAI, Whisper, whisper.cpp)
Backend agen LLM yang dapat ditukar (OpenAI, Anthropic)
Penyedia sintesis suara yang dapat ditukar (ElevenLabs, Cartesia, Azure, Google Cloud, Play.ht, Coqui, gTTS, StreamElements, AWS Polly)
SDK React pendamping untuk membangun antarmuka web di sekitar agen Vocode
Lisensi MIT, terbuka untuk kontribusi dan pemeliharaan komunitas
Memulai dengan Vocode
Instal pustaka: jalankan `pip install vocode` di lingkungan Python
Konfigurasi kunci penyedia: atur kunci API untuk penyedia transkripsi, LLM, dan sintesis yang ingin Anda gunakan
Rakit percakapan: buat instans transcriber, agen, dan sintesis, lalu hubungkan mereka ke dalam objek StreamingConversation
Jalankan secara lokal: uji percakapan melalui mikrofon dan speaker sistem Anda menggunakan quickstart yang disediakan
Tambahkan telepon: ikuti panduan telepon yang dihosting sendiri untuk menghubungkan nomor telepon masuk atau keluar
Terapkan dan perluas: tukar penyedia yang berbeda, atau perluas pustaka untuk kasus penggunaan khusus seperti agen panggilan Zoom
Kasus Penggunaan Vocode
- Agen suara telepon kustom
- Prototipe asisten suara
- Agen suara berbasis Zoom
- Alat suara LangChain
