説明
TAHOは、TAHO Labsによるソフトウェアで、特定の明確に文書化された問題を対象としています：ほとんどのAIおよびHPCクラスターは理論的な能力の一部でしか稼働しておらず、実際の生産環境では約5%の利用率が一般的に言及されています。これは、ワークロードが大きく不規則であり、それを実行するプロセッサにうまく適合しないためです。TAHOは、シリコンの上に直接位置し、オーケストレーションの下にある実行ファブリックとして自らを説明し、フレームワークやキャッシングレイヤーにサービスを提供し、チームがすでに実行しているもの（Kubernetes、SLURM、vLLM、SGLang、TensorRT-LLM）の下で機能し、置き換えるのではなく補完します。
続きを読む
TAHOは、ワークロード全体を1台のマシンに配置し、プロセッサの一部をアイドル状態にするのではなく、ワークロードを小さなスレッドレベルのタスクに分解し、それぞれを最適なリソース（CPU、GPU、アクセラレーター、エッジデバイス）にルーティングします。これにより、チームがすでに所有しているハードウェアで最大10倍の実行速度と最大90%のコスト削減を実現できると報告されています。新しいハードウェア、移行、コードの書き換えは不要です。NVIDIA、AMD、Intel、QualcommのハードウェアおよびハイパースケーラーASICをサポートし、CUDA、ROCm、oneAPIと連携します。
TAHOは、AIトレーニングや推論、高スループットの常時稼働コンピューティング、マルチスレッドワークロード、大規模言語モデル、シミュレーションパイプラインを実行するチーム向けに構築されています。単純なWebアプリ、基本的なAPI、軽量で断続的なコンピューティングには適していないとされています。クラウド、オンプレミス、エッジ、ハイブリッドデプロイメントで動作し、複数のノードに分散された100GBを超えるモデルをサポートし、ダウンタイムなしでワークロードの更新をホットリロードできます。ノード間通信は暗号化されたピアツーピアネットワーキングを使用し、TAHOは顧客の既存のセキュリティポスチャを採用し、サンドボックス化された実行とランタイムの分離を提供します。
TAHOは、Microsoftを含むクラウドマーケットプレイスを通じて利用可能で、Google Cloudは近日中に提供予定です。ビジネスおよびパートナープランの価格はリクエストベースで、個々のAIおよびインフラエンジニアには限られた期間の無料アクセスが提供され、学生には教育プログラムを通じて提供されます。TAHO Labsは、Todd Smith（CEO、以前はFacebook、Snap、Dockerでインフラ関連の役割）、Michal Ashby（CTO、以前はMeta、Snap、Google、Disneyで勤務）、Justin Gelinas（CBO、Britelite Immersiveの共同創設者）によって設立されました。
- カテゴリーAI DevOps・クラウドツール
- 料金モデルアクセスをリクエスト
- デプロイクラウド
TAHOの主要機能
AI/HPCワークロードを利用可能なプロセッサに適合するスレッドレベルのタスクに分解します。
既存のオーケストレーター（Kubernetes、SLURM）やサービスフレームワーク（vLLM、SGLang、TensorRT-LLM）の下で機能し、置き換えることなく動作します。
NVIDIA、AMD、Intel、QualcommのハードウェアおよびハイパースケーラーASICをCUDA、ROCm、oneAPIを介してサポートします。
導入にあたり、コード、モデル、パイプラインの変更は不要です。
自動障害検出と健全なハードウェアへのワークロード再配分を行います。
ダウンタイムなしで実行中のワークロードに更新をホットリロードします。
暗号化されたピアツーピアノード間ネットワーキングとランタイムサンドボックス化を提供します。
クラウド、オンプレミス、エッジ、ハイブリッドデプロイメントで動作し、複数のノードにわたる100GBを超えるモデルをサポートします。
TAHOの使い方は？
適合性を確認する：ワークロードがAIトレーニング、推論、またはHPCシミュレーションのような高スループットの常時稼働コンピューティングであることを確認します。
アクセスを取得する：ビジネスとしてアクセスをリクエストするか、エンジニアとして無料アクセスを申請するか、教育プログラムを通じて申請します。
スタックと並行してデプロイする：既存のオーケストレーターとサービスフレームワークの下にTAHOをインストールし、コードを変更せずに動作させます。
TAHOに作業を分解させる：TAHOはワークロードをスレッドレベルのタスクに分解し、最適なプロセッサにルーティングします。
成果を監視する：既存のハードウェアのベースラインに対して、利用率、実行速度、コンピューティングコストを追跡します。
TAHOの使用例
- AIトレーニングと推論
- LLMサービス
- HPCシミュレーションパイプライン
- GPUフリートコスト削減
