Beschreibung
Vocode ist eine Open-Source-Python-Bibliothek, veröffentlicht als Repository vocode-core, zum Erstellen von sprachbasierten Anwendungen, die von großen Sprachmodellen unterstützt werden. Sie bietet die Abstraktionen, Orchestrierung und Integrationen, die erforderlich sind, um ein Echtzeit-Streaming-Gespräch zwischen einer Person und einem LLM-gestützten Agenten zu führen.
Weiterlesen
Die Bibliothek unterstützt mehrere Einstiegspunkte für ein Sprachgespräch: die Durchführung eines Gesprächs über das Systemaudio und das Mikrofon eines Computers, die Bereitstellung einer Telefonnummer, die eingehende Anrufe mit einem LLM-Agenten beantwortet, das Tätigen von ausgehenden Anrufen von einer verwalteten Nummer oder das Einwählen in einen Zoom-Anruf. Sie dokumentiert auch eine Integration zur Verwendung eines ausgehenden Telefonanrufs als Teil des Toolsets eines LangChain-Agenten.
Vocode ist um austauschbare Anbieter herum aufgebaut, anstatt um einen festen Stack. Für die Transkription (Sprache zu Text) integriert es sich mit Diensten wie AssemblyAI, Deepgram, Gladia, Google Cloud, Microsoft Azure, RevAI und OpenAIs Whisper (sowohl gehostet als auch lokal über whisper.cpp). Für den Konversationsagenten selbst integriert es sich mit OpenAI- und Anthropic-Modellen. Für die Sprachsynthese (Text zu Sprache) unterstützt es Anbieter wie Rime.ai, Microsoft Azure, Google Cloud, Play.ht, ElevenLabs, Cartesia, die Open-Source-Coqui-TTS, gTTS, StreamElements und AWS Polly. Ein begleitendes React SDK wird separat veröffentlicht, um Web-Frontends rund um Vocode-basierte Agenten zu erstellen.
Das Projekt ist MIT-lizenziert, hat etwa 3.800 GitHub-Sterne und ist nicht archiviert. Vocode ist gemeinschaftsorientiert: In der README wird erklärt, dass das Projekt aktiv nach Community-Maintainern sucht und Beiträge zu neuen Funktionen, Integrationen und Dokumentationen begrüßt, die über einen öffentlichen Discord-Server und einen dokumentierten Beitrag-Leitfaden koordiniert werden.
Die Installation erfolgt mit einem einzigen `pip install vocode`, und der eigene Quickstart des Projekts zeigt, wie man einen Deepgram-Transkribierer, einen auf OpenAI ChatGPT basierenden Agenten und einen Azure-Sprachsynthesizer in einem funktionierenden Streaming-Gespräch in wenigen Dutzend Zeilen Python verkabelt. Vollständige Dokumentation, einschließlich der Einrichtung der selbst gehosteten Telefonie, ist unter docs.vocode.dev veröffentlicht.
- KategorieKI-Sprachagenten
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
Vocode's Kernfunktionen
Open-Source-Python-Bibliothek zum Erstellen von Echtzeit-Streaming-Sprachgesprächen mit einem LLM
Systemaudio-Modus zum Führen eines Gesprächs über das Mikrofon und die Lautsprecher eines Computers
Unterstützung für eingehende und ausgehende Telefonanrufe über eine verwaltete Telefonnummer
Unterstützung für Zoom-Anruf-Einwahl
LangChain-Integration für ausgehende Anrufe von einem LangChain-Agenten
Austauschbare Transkriptionsanbieter (AssemblyAI, Deepgram, Gladia, Google Cloud, Azure, RevAI, Whisper, whisper.cpp)
Austauschbare LLM-Agenten-Backends (OpenAI, Anthropic)
Austauschbare Sprachsynthese-Anbieter (ElevenLabs, Cartesia, Azure, Google Cloud, Play.ht, Coqui, gTTS, StreamElements, AWS Polly)
Begleitendes React SDK zum Erstellen von Weboberflächen rund um Vocode-Agenten
MIT-lizenziert, offen für Beiträge und Wartung durch die Community
Erste Schritte mit Vocode
Installieren Sie die Bibliothek: Führen Sie `pip install vocode` in einer Python-Umgebung aus
Konfigurieren Sie die Anbieter-Keys: Legen Sie API-Keys für die Transkriptions-, LLM- und Syntheseanbieter fest, die Sie verwenden möchten
Stellen Sie ein Gespräch zusammen: Instanziieren Sie einen Transkribierer, einen Agenten und einen Synthesizer und verkabeln Sie diese in ein StreamingConversation-Objekt
Lokal ausführen: Testen Sie das Gespräch über Ihr Systemmikrofon und Ihre Lautsprecher mit dem bereitgestellten Quickstart
Fügen Sie Telefonie hinzu: Befolgen Sie den Leitfaden zur selbst gehosteten Telefonie, um eingehende oder ausgehende Telefonnummern zu verbinden
Bereitstellen und erweitern: Tauschen Sie verschiedene Anbieter aus oder erweitern Sie die Bibliothek für einen benutzerdefinierten Anwendungsfall wie einen Zoom-Einwahl-Agenten
Vocode's Anwendungsfälle
- Benutzerdefinierte Telefon-Sprachagenten
- Prototypen von Sprachassistenten
- Zoom-basierte Sprachagenten
- LangChain-Sprachwerkzeuge
