Beschreibung
TAHO ist eine Software von TAHO Labs, die ein spezifisches, gut dokumentiertes Problem anspricht: Die meisten KI- und HPC-Cluster laufen nur mit einem Bruchteil ihrer theoretischen Kapazität, häufig wird eine Auslastung von etwa 5 % in der Produktion angegeben, da die Arbeitslasten groß und unregelmäßig sind und nicht gut auf die sie verarbeitenden Prozessoren passen. TAHO beschreibt sich selbst als eine Ausführungsstruktur, die direkt über dem Silizium und unter der Orchestrierung sitzt, und die Frameworks und Caching-Schichten bedient, indem sie unter dem läuft, was ein Team bereits verwendet (Kubernetes, SLURM, vLLM, SGLang, TensorRT-LLM), anstatt es zu ersetzen.
Weiterlesen
Anstatt eine gesamte Arbeitslast auf einer Maschine zu platzieren und einen Teil des Prozessors untätig zu lassen, zerlegt TAHO die Arbeitslast in kleine, thread-level Aufgaben und leitet jede zu der Ressource, die am besten passt, sei es ein CPU, GPU, Beschleuniger oder Edge-Gerät. Das Unternehmen berichtet, dass dies eine bis zu 10-fach schnellere Ausführung und bis zu 90 % niedrigere Rechenkosten auf Hardware, die ein Team bereits besitzt, erzeugen kann, ohne neue Hardware, Migration oder Codeänderungen zu erfordern. Es unterstützt NVIDIA-, AMD-, Intel- und Qualcomm-Hardware sowie Hyperscaler-ASICs und arbeitet mit CUDA, ROCm und oneAPI.
TAHO ist für Teams konzipiert, die hochdurchsatzfähige, ständig verfügbare Berechnungen durchführen, wie z. B. KI-Training und -Inference, Multi-Threaded-Arbeitslasten, große Sprachmodelle und Simulationspipelines; das Unternehmen sagt, es sei nicht für einfache Webanwendungen, grundlegende APIs oder leichte, intermittierende Berechnungen gedacht. Es läuft in der Cloud, vor Ort, am Edge oder über hybride Bereitstellungen, unterstützt Modelle über 100 GB, die über mehrere Knoten verteilt sind, und kann Arbeitslastaktualisierungen ohne Ausfallzeiten hot-reloaden. Die Kommunikation von Knoten zu Knoten erfolgt über verschlüsseltes Peer-to-Peer-Netzwerk, und das Unternehmen sagt, dass TAHO die bestehende Sicherheitslage eines Kunden mit sandboxed Execution und Runtime-Isolation übernimmt.
TAHO ist über Cloud-Marktplätze, einschließlich Microsoft, erhältlich, wobei Google Cloud bald verfügbar sein wird. Die Preisgestaltung erfolgt auf Anfrage für Geschäfts- und Partnerpläne; kostenloser Zugang wird für individuelle KI- und Infrastruktur-Ingenieure für eine begrenzte Zeit sowie für Studenten über ein Bildungsprogramm angeboten. TAHO Labs wurde von Todd Smith (CEO, zuvor Infrastrukturrollen bei Facebook, Snap und Docker), Michal Ashby (CTO, zuvor bei Meta, Snap, Google und Disney) und Justin Gelinas (CBO, Mitbegründer von Britelite Immersive) gegründet.
- KategorieKI-DevOps- & -Cloud-Tools
- PreismodellZugriff anfordern
- BereitstellungCloud
TAHO's Kernfunktionen
Zerlegt KI/HPC-Arbeitslasten in thread-level Aufgaben, die zu verfügbaren Prozessoren passen
Arbeitet unter bestehenden Orchestratoren (Kubernetes, SLURM) und Serving-Frameworks (vLLM, SGLang, TensorRT-LLM), ohne sie zu ersetzen
Unterstützt NVIDIA-, AMD-, Intel- und Qualcomm-Hardware sowie Hyperscaler-ASICs über CUDA, ROCm und oneAPI
Keine Code-, Modell- oder Pipeline-Änderungen erforderlich, um es zu übernehmen
Automatische Fehlererkennung und Arbeitslastumverteilung über gesunde Hardware
Hot-Reload-Aktualisierungen für laufende Arbeitslasten ohne Ausfallzeiten
Verschlüsseltes Peer-to-Peer-Netzwerk und Runtime-Sandboxing zwischen Knoten
Läuft über Cloud-, On-Premises-, Edge- und hybride Bereitstellungen, einschließlich Modelle über 100 GB über mehrere Knoten
Wie verwendet man TAHO?
Überprüfen Sie die Eignung: Bestätigen Sie, dass Ihre Arbeitslast hochdurchsatzfähig und ständig verfügbar ist, wie z. B. KI-Training, Inference oder HPC-Simulation.
Zugang erhalten: Fordern Sie Zugang als Unternehmen an, bewerben Sie sich als Ingenieur für kostenlosen Zugang oder bewerben Sie sich über das Bildungsprogramm.
Bereitstellung neben Ihrem Stack: Installieren Sie TAHO unter Ihrem bestehenden Orchestrator und Serving-Framework, ohne Ihren Code zu ändern.
Lassen Sie TAHO die Arbeit zerlegen: TAHO zerlegt Arbeitslasten in thread-level Aufgaben und leitet sie an den am besten geeigneten Prozessor weiter.
Überwachen Sie die Gewinne: Verfolgen Sie die Auslastung, die Ausführungsgeschwindigkeit und die Rechenkosten im Vergleich zu Ihrer bestehenden Hardware-Basis.
TAHO's Anwendungsfälle
- KI-Training und -Inference
- LLM-Bereitstellung
- HPC-Simulationspipelines
- Kostenreduzierung für GPU-Flotten
