描述
TAHO是来自TAHO Labs的软件，针对一个特定且文档齐全的问题：大多数AI和HPC集群的实际利用率仅为其理论容量的一小部分，通常在生产中被引用为约5%的利用率，因为工作负载庞大且不规则，无法整齐地适配运行它们的处理器。TAHO自称为一种执行架构，直接位于硅芯片之上，调度层之下，服务于框架和缓存层，工作在团队已经运行的任何系统（Kubernetes、SLURM、vLLM、SGLang、TensorRT-LLM）之下，而不是替代它。
阅读更多
TAHO并不是将整个工作负载放在一台机器上并让部分处理器闲置，而是将工作负载分解为小的线程级任务，并将每个任务路由到最适合的资源，无论是CPU、GPU、加速器还是边缘设备。该公司报告称，这可以在团队已经拥有的硬件上实现高达10倍的执行速度和高达90%的计算成本降低，而无需新硬件、迁移或代码重写。它支持NVIDIA、AMD、Intel和Qualcomm硬件以及超大规模ASIC，并与CUDA、ROCm和oneAPI兼容。
TAHO专为运行高吞吐量、始终在线计算的团队而设计，例如AI训练和推理、多线程工作负载、大型语言模型和仿真管道；该公司表示，它不适用于简单的Web应用程序、基本API或轻量级、间歇性计算。它可以在云端、本地、边缘或混合部署中运行，支持超过100GB的模型分布在多个节点上，并且可以在不停止服务的情况下热重载工作负载更新。节点间通信使用加密的点对点网络，该公司表示TAHO采用客户现有的安全策略，具有沙箱执行和运行时隔离。
TAHO可通过包括Microsoft在内的云市场获得，Google Cloud也将很快上线。商业和合作伙伴计划的定价基于请求；在有限时间内，个人AI和基础设施工程师可免费访问，并通过教育计划向学生提供。TAHO Labs由Todd Smith（首席执行官，曾在Facebook、Snap和Docker担任基础设施角色）、Michal Ashby（首席技术官，曾在Meta、Snap、Google和Disney工作）和Justin Gelinas（首席商务官，Britelite Immersive的联合创始人）创立。
- 类别AI DevOps 与云工具
- 定价模式请求访问
- 部署云端
TAHO的核心功能
将AI/HPC工作负载分解为适合可用处理器的线程级任务
在现有调度器（Kubernetes、SLURM）和服务框架（vLLM、SGLang、TensorRT-LLM）之下工作，而不替换它们
通过CUDA、ROCm和oneAPI支持NVIDIA、AMD、Intel和Qualcomm硬件，以及超大规模ASIC
采用时无需代码、模型或管道更改
自动故障检测和健康硬件上的工作负载重新分配
在不停止服务的情况下热重载正在运行的工作负载更新
加密的点对点节点间网络和运行时沙箱
在云端、本地、边缘和混合部署中运行，包括分布在多个节点上的超过100GB的模型
如何使用 TAHO？
检查适配性：确认您的工作负载是高吞吐量、始终在线的计算，例如AI训练、推理或HPC仿真。
获取访问权限：作为企业请求访问，申请工程师的免费访问，或通过教育计划申请。
与您的栈一起部署：在现有调度器和服务框架之下安装TAHO，无需更改代码。
让TAHO分解工作：TAHO将工作负载分解为线程级任务，并将其路由到最适合的处理器。
监控收益：跟踪利用率、执行速度和计算成本与您现有硬件基线的对比。
TAHO的使用案例
- AI训练和推理
- LLM服务
- HPC仿真管道
- GPU车队成本降低
