Deskripsi
TAHO adalah perangkat lunak dari TAHO Labs yang menargetkan masalah spesifik yang terdokumentasi dengan baik: sebagian besar kluster AI dan HPC beroperasi pada sebagian kecil dari kapasitas teoritis mereka, yang umumnya dikutip sekitar 5% pemanfaatan dalam produksi, karena beban kerja besar dan tidak teratur dan tidak cocok dengan rapi pada prosesor yang menjalankannya. TAHO menggambarkan dirinya sebagai kain eksekusi yang duduk langsung di atas silikon dan di bawah orkestrasi, melayani kerangka kerja dan lapisan caching, bekerja di bawah apa pun yang sudah dijalankan oleh tim (Kubernetes, SLURM, vLLM, SGLang, TensorRT-LLM) daripada menggantinya.
Baca Selengkapnya
Alih-alih menempatkan seluruh beban kerja pada satu mesin dan membiarkan sebagian prosesor tidak terpakai, TAHO memecah beban kerja menjadi tugas kecil tingkat utas dan mengarahkan masing-masing ke sumber daya yang paling sesuai, apakah itu CPU, GPU, akselerator, atau perangkat edge. Perusahaan melaporkan bahwa ini dapat menghasilkan eksekusi hingga 10x lebih cepat dan biaya komputasi hingga 90% lebih rendah pada perangkat keras yang sudah dimiliki tim, tanpa memerlukan perangkat keras baru, migrasi, atau penulisan ulang kode. Ini mendukung perangkat keras NVIDIA, AMD, Intel, dan Qualcomm serta ASIC hyperscaler, dan bekerja dengan CUDA, ROCm, dan oneAPI.
TAHO dirancang untuk tim yang menjalankan komputasi throughput tinggi yang selalu aktif seperti pelatihan dan inferensi AI, beban kerja multi-utas, model bahasa besar, dan jalur simulasi; perusahaan menyatakan bahwa ini tidak dimaksudkan untuk aplikasi web sederhana, API dasar, atau komputasi ringan yang bersifat intermiten. Ini berjalan di cloud, di tempat, di edge, atau di seluruh penerapan hibrida, mendukung model lebih dari 100GB yang didistribusikan di beberapa node, dan dapat memuat ulang pembaruan beban kerja tanpa waktu henti. Komunikasi antar node menggunakan jaringan peer-to-peer terenkripsi, dan perusahaan menyatakan bahwa TAHO mengadopsi postur keamanan yang ada dari pelanggan dengan eksekusi terisolasi dan isolasi runtime.
TAHO tersedia melalui pasar cloud termasuk Microsoft, dengan Google Cloud terdaftar sebagai segera hadir. Penetapan harga berdasarkan permintaan untuk rencana bisnis dan mitra; akses gratis ditawarkan kepada insinyur AI dan infrastruktur individu untuk waktu terbatas, dan kepada siswa melalui program pendidikan. TAHO Labs didirikan oleh Todd Smith (CEO, sebelumnya menjabat di peran infrastruktur di Facebook, Snap, dan Docker), Michal Ashby (CTO, sebelumnya di Meta, Snap, Google, dan Disney) dan Justin Gelinas (CBO, salah satu pendiri Britelite Immersive).
- KategoriAlat DevOps & Cloud AI
- Model HargaMinta Akses
- PenerapanCloud
Fitur Inti TAHO
Memecah beban kerja AI/HPC menjadi tugas tingkat utas yang sesuai dengan prosesor yang tersedia
Bekerja di bawah pengatur yang ada (Kubernetes, SLURM) dan kerangka layanan (vLLM, SGLang, TensorRT-LLM) tanpa menggantinya
Mendukung perangkat keras NVIDIA, AMD, Intel, dan Qualcomm, serta ASIC hyperscaler, melalui CUDA, ROCm, dan oneAPI
Tidak ada perubahan kode, model, atau jalur yang diperlukan untuk mengadopsinya
Deteksi kegagalan otomatis dan redistribusi beban kerja di antara perangkat keras yang sehat
Pembaruan hot-reload untuk beban kerja yang berjalan tanpa waktu henti
Jaringan node-ke-node peer-to-peer terenkripsi dan sandboxing runtime
Beroperasi di cloud, di tempat, di edge, dan penerapan hibrida, termasuk model lebih dari 100GB di beberapa node
Cara menggunakan TAHO?
Periksa kesesuaian: Konfirmasi bahwa beban kerja Anda adalah komputasi throughput tinggi yang selalu aktif, seperti pelatihan AI, inferensi, atau simulasi HPC.
Dapatkan akses: Minta akses sebagai bisnis, ajukan sebagai insinyur untuk akses gratis, atau ajukan melalui program pendidikan.
Terapkan di samping tumpukan Anda: Instal TAHO di bawah pengatur dan kerangka layanan yang sudah ada, tanpa mengubah kode Anda.
Biarkan TAHO memecah pekerjaan: TAHO memecah beban kerja menjadi tugas tingkat utas dan mengarahkan mereka ke prosesor yang paling sesuai.
Pantau keuntungan: Lacak pemanfaatan, kecepatan eksekusi, dan biaya komputasi dibandingkan dengan baseline perangkat keras Anda yang ada.
Kasus Penggunaan TAHO
- Pelatihan dan inferensi AI
- Pelayanan LLM
- Jalur simulasi HPC
- Pengurangan biaya armada GPU
