설명
TAHO는 TAHO Labs의 소프트웨어로, 특정하고 잘 문서화된 문제를 해결하는 데 초점을 맞추고 있습니다: 대부분의 AI 및 HPC 클러스터는 이론적 용량의 일부만을 사용하며, 실제 운영에서 약 5%의 활용률로 인용됩니다. 이는 작업 부하가 크고 불규칙하여 이를 실행하는 프로세서에 깔끔하게 맞지 않기 때문입니다. TAHO는 실리콘 바로 위에 위치하고 오케스트레이션 아래에 있는 실행 패브릭으로, 팀이 이미 운영 중인 프레임워크와 캐싱 레이어를 지원하며(Kubernetes, SLURM, vLLM, SGLang, TensorRT-LLM) 이를 대체하는 것이 아닙니다.
더 읽기
TAHO는 전체 작업 부하를 하나의 머신에 배치하고 프로세서의 일부를 유휴 상태로 두는 대신, 작업 부하를 작고 스레드 수준의 작업으로 분해하고 각 작업을 CPU, GPU, 가속기 또는 엣지 장치와 같은 가장 적합한 리소스로 라우팅합니다. 이 회사는 이를 통해 팀이 이미 보유하고 있는 하드웨어에서 최대 10배 더 빠른 실행과 최대 90% 낮은 컴퓨팅 비용을 달성할 수 있다고 보고하고 있으며, 새로운 하드웨어, 마이그레이션 또는 코드 재작성 없이 가능합니다. NVIDIA, AMD, Intel 및 Qualcomm 하드웨어와 하이퍼스케일러 ASIC을 지원하며, CUDA, ROCm 및 oneAPI와 함께 작동합니다.
TAHO는 AI 훈련 및 추론, 다중 스레드 작업 부하, 대형 언어 모델 및 시뮬레이션 파이프라인과 같은 고처리량, 항상 켜져 있는 컴퓨팅을 실행하는 팀을 위해 설계되었습니다. 이 회사는 간단한 웹 앱, 기본 API 또는 가벼운 간헐적 컴퓨팅을 위한 것이 아니라고 말합니다. TAHO는 클라우드, 온프레미스, 엣지 또는 하이브리드 배포에서 실행되며, 여러 노드에 분산된 100GB 이상의 모델을 지원하고, 다운타임 없이 작업 부하 업데이트를 핫 리로드할 수 있습니다. 노드 간 통신은 암호화된 피어 투 피어 네트워킹을 사용하며, TAHO는 고객의 기존 보안 태세를 채택하여 샌드박스 실행 및 런타임 격리를 제공합니다.
TAHO는 Microsoft를 포함한 클라우드 마켓플레이스를 통해 제공되며, Google Cloud는 곧 제공될 예정입니다. 비즈니스 및 파트너 계획에 대한 가격은 요청 기반이며, 개인 AI 및 인프라 엔지니어에게는 제한된 시간 동안 무료로 제공되며, 교육 프로그램을 통해 학생들에게도 제공됩니다. TAHO Labs는 Todd Smith(CEO, 이전에 Facebook, Snap 및 Docker에서 인프라 역할), Michal Ashby(CTO, 이전에 Meta, Snap, Google 및 Disney에서 근무) 및 Justin Gelinas(CBO, Britelite Immersive의 공동 창립자)에 의해 설립되었습니다.
- 카테고리AI DevOps 및 클라우드 도구
- 요금제액세스 요청
- 배포클라우드
TAHO의 핵심 기능
AI/HPC 작업 부하를 사용 가능한 프로세서에 맞는 스레드 수준의 작업으로 분해합니다.
기존 오케스트레이터(Kubernetes, SLURM) 및 서비스 프레임워크(vLLM, SGLang, TensorRT-LLM) 아래에서 작동하며 이를 대체하지 않습니다.
NVIDIA, AMD, Intel 및 Qualcomm 하드웨어와 하이퍼스케일러 ASIC을 지원하며, CUDA, ROCm 및 oneAPI를 통해 작동합니다.
채택을 위해 코드, 모델 또는 파이프라인 변경이 필요하지 않습니다.
자동 실패 감지 및 건강한 하드웨어 간 작업 부하 재분배 기능을 제공합니다.
다운타임 없이 실행 중인 작업 부하에 대한 핫 리로드 업데이트를 지원합니다.
암호화된 피어 투 피어 노드 간 네트워킹 및 런타임 샌드박싱을 제공합니다.
클라우드, 온프레미스, 엣지 및 하이브리드 배포에서 실행되며, 여러 노드에 걸쳐 100GB 이상의 모델을 지원합니다.
TAHO 사용 방법은?
적합성 확인: AI 훈련, 추론 또는 HPC 시뮬레이션과 같은 고처리량, 항상 켜져 있는 컴퓨팅 작업 부하를 확인합니다.
접근 요청: 비즈니스로서 접근을 요청하거나, 무료 접근을 위한 엔지니어로 지원하거나, 교육 프로그램을 통해 신청합니다.
스택과 함께 배포: 기존 오케스트레이터 및 서비스 프레임워크 아래에 TAHO를 설치하되, 코드를 변경하지 않습니다.
TAHO가 작업을 분해하도록 합니다: TAHO는 작업 부하를 스레드 수준의 작업으로 분해하고 이를 가장 적합한 프로세서로 라우팅합니다.
이득 모니터링: 기존 하드웨어 기준에 대한 활용률, 실행 속도 및 컴퓨팅 비용을 추적합니다.
TAHO의 사용 사례
- AI 훈련 및 추론
- LLM 서비스
- HPC 시뮬레이션 파이프라인
- GPU 비용 절감
