Beschreibung
Self-Hosted AI Stack ist eine Open-Source-Plattform, die für Benutzer entwickelt wurde, die KI-Modelle, Chat, Dokumentenverarbeitung und Sprachtools auf ihrer eigenen Infrastruktur ausführen möchten. Die Plattform basiert auf Docker Compose, was eine einfache Bereitstellung auf lokalen oder cloudbasierten Linux-Servern ermöglicht. Benutzer können sich entscheiden, einen leichten Stack bereitzustellen oder ihre Konfiguration an spezifische Bedürfnisse anzupassen.
Weiterlesen
Der Stack unterstützt das Ausführen lokaler KI-Modelle mit InferCrate, betrieben von Ollama, und bietet browserbasierte Chat-Funktionen über AnythingLLM. Die Dokumentenparsing- und Abruffunktionen werden durch ParseCrate und EmbedCrate, betrieben von Docling, ermöglicht, was semantische Suche und Neurangierung ermöglicht.
Für die Audioverarbeitung bietet ScribeCrate Transkriptionsdienste, während SpeakCrate, betrieben von Kokoro, Text-zu-Sprache-Funktionen bereitstellt. Die Plattform umfasst auch GatewayCrate für das Routing von Modellanfragen und UplinkCrate für die Verbindung unterstützter Tools.
Sicherheit hat Priorität, mit frischen Bereitstellungen, die API-Schlüssel generieren und Passwortschutz für AnythingLLM konfigurieren. Die Plattform ist MIT-lizenziert, und während die Software selbst kostenlos ist, können Benutzern Kosten für Hardware, Cloud-Hosting oder externe Anbieter entstehen.
Self-Hosted AI Stack ist ideal für Entwickler, Systemadministratoren, Homelab-Benutzer und kleine Teams, die eine private KI-Plattform suchen, die sie verstehen, sichern und mit Vertrauen betreiben können. Die Flexibilität der Plattform und der Fokus auf Datenschutz machen sie zu einer überzeugenden Wahl für diejenigen, die die Kontrolle über ihre KI-Infrastruktur behalten möchten.
- KategorieMachine-Learning-Plattformen
- PreismodellOpen Source
- BereitstellungDocker Compose
- PlattformenLinux
Self-Hosted AI Stack's Kernfunktionen
Open-Source Docker Compose-Projekt
Lokale KI-Modelle und Chat ausführen
Dokumentenparsing und -abruf
Audio-Transkription und Text-zu-Sprache
Flexible Bereitstellungsoptionen
Optionale NVIDIA GPU-Beschleunigung
MIT-lizenziert
API-Schlüssel und Passwortschutz
Wie verwendet man Self-Hosted AI Stack?
Bereitstellen: Docker Compose auf Ihrem Server einrichten
Konfigurieren: Dienste auswählen und Einstellungen anpassen
Ausführen: Lokale Modelle und Tools starten
Sichern: API-Schlüssel und Passwortschutz implementieren
Self-Hosted AI Stack's Anwendungsfälle
- Bereitstellung lokaler KI-Modelle
- Private Chat-Anwendungen
- Dokumentenintelligenz
- Sprachverarbeitung
- Integration benutzerdefinierter KI-Tools
