Descripción
TAHO es un software de TAHO Labs que aborda un problema específico y bien documentado: la mayoría de los clústeres de IA y HPC funcionan a una fracción de su capacidad teórica, comúnmente citada en alrededor del 5% de utilización en producción, debido a que las cargas de trabajo son grandes e irregulares y no se ajustan perfectamente a los procesadores que las ejecutan.
Leer más
TAHO se describe a sí mismo como una tela de ejecución que se sitúa directamente sobre el silicio y por debajo de la orquestación, sirviendo a los marcos y capas de caché, trabajando por debajo de lo que un equipo ya ejecuta (Kubernetes, SLURM, vLLM, SGLang, TensorRT-LLM) en lugar de reemplazarlo.
En lugar de colocar una carga de trabajo completa en una máquina y dejar parte del procesador inactivo, TAHO descompone la carga de trabajo en pequeñas tareas a nivel de hilo y dirige cada una al recurso que mejor se adapta, ya sea una CPU, GPU, acelerador o dispositivo de borde. La empresa informa que esto puede producir hasta 10 veces más velocidad de ejecución y hasta un 90% menos de costo computacional en hardware que un equipo ya posee, sin requerir nuevo hardware, migraciones o reescrituras de código. Soporta hardware de NVIDIA, AMD, Intel y Qualcomm, así como ASICs de hiperescaladores, y funciona con CUDA, ROCm y oneAPI.
TAHO está diseñado para equipos que ejecutan computación de alto rendimiento y siempre activa, como entrenamiento e inferencia de IA, cargas de trabajo multihilo, modelos de lenguaje grandes y tuberías de simulación; la empresa afirma que no está destinado a aplicaciones web simples, API básicas o computación ligera e intermitente. Funciona en la nube, en las instalaciones, en el borde o en implementaciones híbridas, soporta modelos de más de 100GB distribuidos en múltiples nodos y puede recargar actualizaciones de carga de trabajo sin tiempo de inactividad. La comunicación de nodo a nodo utiliza redes peer-to-peer encriptadas, y la empresa afirma que TAHO adopta la postura de seguridad existente de un cliente con ejecución en sandbox y aislamiento en tiempo de ejecución.
TAHO está disponible a través de mercados en la nube, incluyendo Microsoft, con Google Cloud listado como próximo. La fijación de precios es basada en solicitudes para planes empresariales y de socios; se ofrece acceso gratuito a ingenieros individuales de IA e infraestructura por un tiempo limitado, y a estudiantes a través de un programa educativo. TAHO Labs fue fundado por Todd Smith (CEO, anteriormente en roles de infraestructura en Facebook, Snap y Docker), Michal Ashby (CTO, anteriormente en Meta, Snap, Google y Disney) y Justin Gelinas (CBO, cofundador de Britelite Immersive.
- CategoríaHerramientas de DevOps y nube con IA
- Modelo de preciosSolicitar acceso
- ImplementaciónNube
Características principales de TAHO
Descompone las cargas de trabajo de IA/HPC en tareas a nivel de hilo que se adaptan a los procesadores disponibles
Funciona por debajo de los orquestadores existentes (Kubernetes, SLURM) y los marcos de servicio (vLLM, SGLang, TensorRT-LLM) sin reemplazarlos
Soporta hardware de NVIDIA, AMD, Intel y Qualcomm, además de ASICs de hiperescaladores, a través de CUDA, ROCm y oneAPI
No se requieren cambios en el código, modelo o tuberías para adoptarlo
Detección automática de fallos y redistribución de cargas de trabajo en hardware saludable
Actualizaciones de cargas de trabajo en ejecución con recarga en caliente sin tiempo de inactividad
Redes encriptadas de nodo a nodo y ejecución en sandbox en tiempo de ejecución
Funciona en implementaciones en la nube, en las instalaciones, en el borde y en híbridas, incluyendo modelos de más de 100GB distribuidos en múltiples nodos
¿Cómo usar TAHO?
Verifique la compatibilidad: Confirme que su carga de trabajo es de computación de alto rendimiento y siempre activa, como entrenamiento de IA, inferencia o simulación HPC.
Obtenga acceso: Solicite acceso como empresa, aplique como ingeniero para acceso gratuito o aplique a través del programa educativo.
Despliegue junto a su pila: Instale TAHO por debajo de su orquestador y marco de servicio existentes, sin cambiar su código.
Deje que TAHO descomponga el trabajo: TAHO divide las cargas de trabajo en tareas a nivel de hilo y las dirige al procesador que mejor se adapta.
Monitoree las ganancias: Realice un seguimiento de la utilización, velocidad de ejecución y costo computacional en comparación con su base de hardware existente.
Casos de uso de TAHO
- Entrenamiento e inferencia de IA
- Servicio de LLM
- Tuberías de simulación HPC
- Reducción de costos de flota de GPU
