Beschreibung
ScribeCrate Live ist eine robuste, Open-Source-Lösung, die für private, Echtzeit-Sprach-zu-Text-Transkription und Sprach-zu-Englisch-Übersetzung entwickelt wurde. Sie ermöglicht es Benutzern, einen Transkriptionsserver auf ihrer eigenen Hardware bereitzustellen und zu betreiben, wodurch Datenschutz und Kontrolle gewährleistet werden. Das System wird von WhisperLive und faster-whisper betrieben und nutzt fortschrittliche Whisper-Modelle für hohe Genauigkeit und Effizienz.
Weiterlesen
Die Kernfunktionalität dreht sich um die Verarbeitung von Live-Mikrofon-Audio und verschiedenen Audio-Streams, die in fortlaufende Textsegmente umgewandelt werden, während die Wörter gesprochen werden. Diese Echtzeitfähigkeit wird über WebSocket bereitgestellt, was sie für Anwendungen geeignet macht, die sofortige Textausgaben erfordern, wie z. B. Live-Untertitelung oder interaktive Sprachschnittstellen. Für die Übersetzung von Sprache ins Englische können Benutzer ein geeignetes mehrsprachiges Whisper-Modell auswählen und die Aufgabe entsprechend konfigurieren.
Neben dem Live-Streaming bietet ScribeCrate Live auch eine OpenAI-kompatible REST-API zum Transkribieren hochgeladener Audiodateien. Dieser duale Ansatz bedient verschiedene Eingangsströme und bietet Entwicklern Flexibilität, die Transkriptionsdienste in ihre Anwendungen integrieren möchten. Der Server läuft lokal, wobei frische, persistente Installationen API-Schlüssel generieren und speichern, um eine sichere Authentifizierung zu gewährleisten, sodass die Transkriptionsprozesse privat und unter der Kontrolle des Benutzers bleiben.
Die Bereitstellung erfolgt über Docker, das sowohl CPU- (amd64 und arm64 Architekturen) als auch NVIDIA-GPU-Beschleunigung mit einem speziellen CUDA-Image unterstützt. Benutzer können aus verschiedenen Whisper-Modellen wählen, wobei größere Modelle eine höhere Genauigkeit bieten, aber mehr Speicher und Rechenleistung erfordern. Die Sprachaktivitätserkennung (VAD) ist enthalten, um intelligent stille Phasen zu überspringen und die Ressourcennutzung zu optimieren. Für den Offline-Betrieb können Modelle im Voraus zwischengespeichert werden, und das System kann so konfiguriert werden, dass es ohne Internetzugang für Modell-Downloads läuft.
ScribeCrate Live ist Teil eines größeren Ökosystems, einschließlich des Self-Hosted AI Stack, das es Benutzern ermöglicht, es mit anderen lokalen KI-Tools für Chat, Dokumentenverarbeitung und mehr zu integrieren. Das Projekt ist Open Source unter der MIT-Lizenz, was bedeutet, dass die Benutzer für ihre eigenen Hardware- oder Cloud-Hosting-Kosten verantwortlich sind. Es betont die Kontrolle der Benutzer über Daten und Verarbeitung und ist somit eine starke Wahl für datenschutzbewusste Entwickler und Organisationen.
- KategorieKI-Transkriptionstools
- PreismodellOpen Source
- BereitstellungSelbst gehostet
- PlattformenDocker (CPU, NVIDIA GPU)
ScribeCrate Live's Kernfunktionen
Echtzeit-Sprach-zu-Text-Transkription
Sprache-zu-Englisch-Übersetzung
WebSocket-Streaming für Live-Audio
OpenAI-kompatible REST-API für die Dateitranskription
Selbstgehostete Bereitstellung für Datenschutz und Kontrolle
Unterstützt verschiedene Whisper-Modelle
Sprachaktivitätserkennung (VAD), um Stille zu überspringen
CPU (amd64, arm64) und NVIDIA GPU (CUDA) Unterstützung
Docker-Bereitstellung für einfache Einrichtung
Persistenter Modell-Cache für den Offline-Betrieb
API-Schlüssel-Authentifizierung für sicheren Zugriff
Open-Source unter MIT-Lizenz
Integration mit Self-Hosted AI Stack
Fortlaufende Textausgabe, während die Wörter eintreffen
Dokumentation zur Client-Einrichtung auf GitHub verfügbar
Wie verwendet man ScribeCrate Live?
Host vorbereiten: Stellen Sie sicher, dass ein unterstützter Linux-Host mit Docker und ausreichend Speicher für Ihr gewähltes Whisper-Modell vorhanden ist.
Server starten: Bereitstellen von ScribeCrate Live mit Docker, indem Sie Live-Audio verbinden oder mit einer Aufnahme testen.
API-Schlüssel abrufen: Für persistente Installationen den generierten API-Schlüssel für authentifizierten Zugriff abrufen.
Client verbinden: Verwenden Sie einen kompatiblen WebSocket-Client für Live-Mikrofoneingaben oder die REST-API für die Dateitranskription.
Aufgabe konfigurieren: Setzen Sie `translate=True` im Python-Client oder `"task": "translate"` im WebSocket-Handshake für die Übersetzung von Sprache ins Englische.
Modell auswählen: Wählen Sie ein geeignetes mehrsprachiges Whisper-Modell (z. B. base, small, medium, large-v3) für Übersetzungsaufgaben aus.
Transkription testen: Ersetzen Sie `audio.mp3` durch Ihre Datei und führen Sie die bereitgestellte REST-Anfrage für einen authentifizierten Test aus.
ScribeCrate Live's Anwendungsfälle
- Live-Untertitelung
- Mikrofon-Transkription
- Sprache-zu-Englisch-Übersetzung
- Audio-Datei-Transkription
- Entwicklung von Sprach-Anwendungen
- Private Transkriptionsdienste
- Integration in Self-Hosted AI Stack
