Описание
TAHO — это программное обеспечение от TAHO Labs, которое нацелено на конкретную, хорошо задокументированную проблему: большинство кластеров AI и HPC работают на доле своей теоретической мощности, обычно упоминаемой как около 5% использования в производстве, потому что рабочие нагрузки большие и нерегулярные и не подходят аккуратно к процессорам, на которых они выполняются. TAHO описывает себя как исполняющую ткань, которая находится непосредственно над кремнием и ниже оркестрации, обслуживая фреймворки и кэшированные слои, работая под тем, что уже использует команда (Kubernetes, SLURM, vLLM, SGLang, TensorRT-LLM), а не заменяя его.
Читать далее
Вместо того чтобы размещать всю рабочую нагрузку на одной машине и оставлять часть процессора бездействующей, TAHO разбивает рабочую нагрузку на небольшие задачи на уровне потоков и направляет каждую из них к ресурсу, который лучше всего подходит для нее, будь то CPU, GPU, ускоритель или устройство на краю. Компания сообщает, что это может обеспечить до 10-кратного увеличения скорости выполнения и до 90% снижения вычислительных затрат на оборудовании, которое уже есть у команды, без необходимости в новом оборудовании, миграции или переписывании кода. Оно поддерживает оборудование NVIDIA, AMD, Intel и Qualcomm, а также ASIC гиперскейлеров и работает с CUDA, ROCm и oneAPI.
TAHO создан для команд, работающих с высокопроизводительными, всегда включенными вычислениями, такими как обучение и вывод AI, многопоточные рабочие нагрузки, большие языковые модели и симуляционные конвейеры; компания утверждает, что он не предназначен для простых веб-приложений, базовых API или легких, прерывистых вычислений. Он работает в облаке, на месте, на краю или в гибридных развертываниях, поддерживает модели объемом более 100 ГБ, распределенные по нескольким узлам, и может обновлять рабочие нагрузки без простоя. Связь между узлами использует зашифрованную одноранговую сеть, и компания утверждает, что TAHO принимает существующую безопасность клиента с изолированным выполнением и изоляцией времени выполнения.
TAHO доступен через облачные маркетплейсы, включая Microsoft, с Google Cloud, который будет доступен в ближайшее время. Цены основаны на запросах для бизнес- и партнерских планов; бесплатный доступ предлагается индивидуальным инженерам AI и инфраструктуры на ограниченное время, а также студентам через образовательную программу. TAHO Labs был основан Тоддом Смитом (CEO, ранее занимавшимся инфраструктурой в Facebook, Snap и Docker), Михалом Эшби (CTO, ранее в Meta, Snap, Google и Disney) и Джастином Желинасом (CBO, соучредителем Britelite Immersive).
- КатегорияAI-инструменты для DevOps и облака
- Модель ценообразованияЗапросить доступ
- РазвёртываниеОблако
Основные функции TAHO
Разбивает рабочие нагрузки AI/HPC на задачи на уровне потоков, которые подходят доступным процессорам
Работает под существующими оркестраторами (Kubernetes, SLURM) и обслуживающими фреймворками (vLLM, SGLang, TensorRT-LLM) без их замены
Поддерживает оборудование NVIDIA, AMD, Intel и Qualcomm, а также ASIC гиперскейлеров через CUDA, ROCm и oneAPI
Не требует изменений в коде, модели или конвейерах для его внедрения
Автоматическое обнаружение сбоев и перераспределение рабочей нагрузки по здоровому оборудованию
Горячая перезагрузка обновлений для работающих нагрузок без простоя
Зашифрованная одноранговая сеть узлов и изолированное выполнение в среде выполнения
Работает в облачных, локальных, краевых и гибридных развертываниях, включая модели объемом более 100 ГБ, распределенные по нескольким узлам
Как использовать TAHO?
Проверьте соответствие: Подтвердите, что ваша рабочая нагрузка — это высокопроизводительные, всегда включенные вычисления, такие как обучение AI, вывод или симуляция HPC.
Получите доступ: Запросите доступ как бизнес, подайте заявку как инженер для бесплатного доступа или подайте заявку через образовательную программу.
Разверните рядом с вашим стеком: Установите TAHO под вашим существующим оркестратором и обслуживающим фреймворком, не изменяя ваш код.
Позвольте TAHO разбить работу: TAHO разбивает рабочие нагрузки на задачи на уровне потоков и направляет их к наиболее подходящему процессору.
Отслеживайте приросты: Следите за использованием, скоростью выполнения и вычислительными затратами по сравнению с вашим существующим оборудованием.
Варианты использования TAHO
- Обучение и вывод AI
- Обслуживание LLM
- Симуляционные конвейеры HPC
- Снижение затрат на парк GPU
