TAHO

TAHO se décrit comme un tissu d'exécution qui se situe directement au-dessus du silicium et en dessous de l'orchestration, servant des frameworks et des couches de mise en cache, travaillant sous tout ce qu'une équipe utilise déjà (Kubernetes, SLURM, vLLM, SGLang, TensorRT-LLM) plutôt que de le remplacer.

Au lieu de placer une charge de travail entière sur une machine et de laisser une partie du processeur inoccupée, TAHO décompose la charge de travail en petites tâches au niveau des threads et les dirige vers la ressource qui lui convient le mieux, qu'il s'agisse d'un CPU, d'un GPU, d'un accélérateur ou d'un appareil edge. La société rapporte que cela peut produire jusqu'à 10 fois une exécution plus rapide et jusqu'à 90 % de coûts de calcul inférieurs sur le matériel que l'équipe possède déjà, sans nécessiter de nouveau matériel, de migration ou de réécriture de code. Il prend en charge le matériel NVIDIA, AMD, Intel et Qualcomm ainsi que les ASIC hyperscale, et fonctionne avec CUDA, ROCm et oneAPI.

TAHO est conçu pour les équipes exécutant des calculs à haut débit et toujours actifs tels que l'entraînement et l'inférence AI, les charges de travail multi-threadées, les modèles de langage de grande taille et les pipelines de simulation ; la société indique qu'il n'est pas destiné aux applications web simples, aux API de base ou aux calculs légers et intermittents. Il fonctionne dans le cloud, sur site, à la périphérie ou dans des déploiements hybrides, prend en charge des modèles de plus de 100 Go répartis sur plusieurs nœuds, et peut recharger à chaud les mises à jour de charge de travail sans temps d'arrêt. La communication entre nœuds utilise un réseau peer-to-peer crypté, et la société affirme que TAHO adopte la posture de sécurité existante d'un client avec une exécution en bac à sable et une isolation d'exécution.

TAHO est disponible via des places de marché cloud, y compris Microsoft, avec Google Cloud annoncé comme prochainement disponible. Les prix sont basés sur des demandes pour les plans d'affaires et de partenaires ; un accès gratuit est proposé aux ingénieurs AI et infrastructure individuels pour une durée limitée, et aux étudiants via un programme éducatif. TAHO Labs a été fondé par Todd Smith (PDG, précédemment dans des rôles d'infrastructure chez Facebook, Snap et Docker), Michal Ashby (CTO, précédemment chez Meta, Snap, Google et Disney) et Justin Gelinas (CBO, co-fondateur de Britelite Immersive).