Descrição
TAHO é um software da TAHO Labs que visa um problema específico e bem documentado: a maioria dos clusters de IA e HPC opera a uma fração de sua capacidade teórica, comumente citada em cerca de 5% de utilização em produção, porque as cargas de trabalho são grandes e irregulares e não se encaixam perfeitamente nos processadores que as executam. O TAHO se descreve como uma camada de execução que fica diretamente acima do silício e abaixo da orquestração, atendendo a frameworks e camadas de cache, funcionando abaixo de qualquer coisa que uma equipe já utiliza (Kubernetes, SLURM, vLLM, SGLang, TensorRT-LLM) em vez de substituí-la.
Ler mais
Em vez de colocar uma carga de trabalho inteira em uma máquina e deixar parte do processador ociosa, o TAHO decompõe a carga de trabalho em pequenas tarefas em nível de thread e direciona cada uma para o recurso que melhor se adapta a ela, seja uma CPU, GPU, acelerador ou dispositivo de borda. A empresa relata que isso pode produzir até 10x mais velocidade de execução e até 90% de redução no custo computacional em hardware que uma equipe já possui, sem exigir novo hardware, migração ou reescritas de código. Ele suporta hardware da NVIDIA, AMD, Intel e Qualcomm, além de ASICs de hyperscaler, e funciona com CUDA, ROCm e oneAPI.
O TAHO é projetado para equipes que executam computação de alto rendimento e sempre ativa, como treinamento e inferência de IA, cargas de trabalho multithread, grandes modelos de linguagem e pipelines de simulação; a empresa afirma que não é destinado a aplicativos web simples, APIs básicas ou computação leve e intermitente. Ele opera na nuvem, em instalações locais, na borda ou em implantações híbridas, suporta modelos com mais de 100GB distribuídos em vários nós e pode atualizar cargas de trabalho em tempo real sem tempo de inatividade. A comunicação de nó para nó utiliza redes peer-to-peer criptografadas, e a empresa afirma que o TAHO adota a postura de segurança existente do cliente com execução em sandbox e isolamento em tempo de execução.
O TAHO está disponível através de marketplaces de nuvem, incluindo Microsoft, com o Google Cloud listado como em breve. A precificação é baseada em solicitação para planos empresariais e de parceiros; acesso gratuito é oferecido a engenheiros individuais de IA e infraestrutura por um tempo limitado, e a estudantes através de um programa educacional. A TAHO Labs foi fundada por Todd Smith (CEO, anteriormente em funções de infraestrutura no Facebook, Snap e Docker), Michal Ashby (CTO, anteriormente na Meta, Snap, Google e Disney) e Justin Gelinas (CBO, co-fundador da Britelite Immersive).
- CategoriaFerramentas de DevOps e nuvem com IA
- Modelo de preçosSolicitar acesso
- ImplantaçãoNuvem
Recursos principais de TAHO
Decompõe cargas de trabalho de IA/HPC em tarefas em nível de thread que se ajustam aos processadores disponíveis
Funciona abaixo dos orquestradores existentes (Kubernetes, SLURM) e frameworks de serviço (vLLM, SGLang, TensorRT-LLM) sem substituí-los
Suporta hardware da NVIDIA, AMD, Intel e Qualcomm, além de ASICs de hyperscaler, via CUDA, ROCm e oneAPI
Nenhuma alteração de código, modelo ou pipeline é necessária para adotá-lo
Detecção automática de falhas e redistribuição de carga de trabalho entre hardware saudável
Atualizações em tempo real para cargas de trabalho em execução sem tempo de inatividade
Rede peer-to-peer criptografada de nó para nó e sandboxing em tempo de execução
Opera em nuvem, instalações locais, borda e implantações híbridas, incluindo modelos com mais de 100GB distribuídos em vários nós
Como usar TAHO?
Verifique a adequação: Confirme que sua carga de trabalho é de computação de alto rendimento e sempre ativa, como treinamento de IA, inferência ou simulação HPC.
Obtenha acesso: Solicite acesso como empresa, inscreva-se como engenheiro para acesso gratuito ou aplique através do programa educacional.
Implante ao lado de sua pilha: Instale o TAHO abaixo do seu orquestrador existente e framework de serviço, sem alterar seu código.
Deixe o TAHO decompor o trabalho: O TAHO divide as cargas de trabalho em tarefas em nível de thread e as direciona para o processador que melhor se adapta.
Monitore os ganhos: Acompanhe a utilização, velocidade de execução e custo computacional em relação à sua base de hardware existente.
Casos de uso de TAHO
- Treinamento e inferência de IA
- Serviço de LLM
- Pipelines de simulação HPC
- Redução de custo de frota de GPU
