Описание
Общая вычислительная мощность — это поставщик вывода, ориентированный на скорость. Он разворачивает модели ИИ на специализированной инфраструктуре ASIC, а не на GPU, и предоставляет их через совместимый с OpenAI API, чтобы команды могли переключаться, изменяя свой базовый URL и API-ключ без переписывания кода. Он заявляет о времени до первого токена менее миллисекунды, высокой пропускной способности и до 1000 токенов в секунду, с бенчмарками, сравнивающими выполнение одной и той же модели на Общей вычислительной мощности с базовой линией GPU.
Читать далее
Платформа предлагает три способа работы: API самообслуживания с оплатой за использование, выделенные мощности для команд, которым нужна гарантированная мощность и поддержка в производстве, и обслуживание моделей с собственными весами, которые работают на инфраструктуре Общей вычислительной мощности. Все они имеют одинаковый совместимый с OpenAI интерфейс, включая вызов инструментов, режим JSON, модели, готовые к рассуждениям, и семантику потоковой передачи, так что существующие оркестраторы продолжают работать. Производственный трафик в настоящее время работает в регионе США, с выделенными регионами, доступными для корпоративных развертываний.
Общая вычислительная мощность позиционирует себя как поставщик, ориентированный на спрос и обладающий активами, который покупает, разворачивает и управляет специализированным кремнием (таким как SambaNova и Etched Sohu), чтобы клиенты могли работать на чипах, которые они не будут устанавливать сами, продавая результат как вывод. Новые аккаунты начинают с бесплатного кредита, а планы с оплатой по мере использования наследуют надежность наилучших усилий, в то время как корпоративные уровни добавляют контрактные SLA, пути эскалации и выделенные мощности.
- КатегорияMLOps и развёртывание моделей
- Модель ценообразованияФримиум
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции Общая вычислительная мощность
Совместимый с OpenAI API вывода с миграцией базового URL
Специализированная инфраструктура ASIC для высокоскоростного вывода
Низкое время до первого токена и высокая пропускная способность
Вызов инструментов, режим JSON, модели для рассуждений и потоковая передача
API самообслуживания, выделенные развертывания и обслуживание моделей с собственными весами
Бесплатный кредит для новых аккаунтов
Корпоративные уровни с контрактными SLA и выделенной мощностью
Как использовать Общая вычислительная мощность?
Получите ключ: Зарегистрируйтесь и получите API-ключ с бесплатным кредитом.
Измените свой базовый URL: Укажите свой существующий совместимый с OpenAI SDK на Общую вычислительную мощность.
Запустите вывод: Отправляйте запросы и используйте вызов инструментов, режим JSON и потоковую передачу как обычно.
Масштабируйтесь: Перейдите на выделенные мощности или используйте свою модель, когда вам нужна гарантированная мощность.
Варианты использования Общая вычислительная мощность
- Кодирующие агенты
- Голос в реальном времени и интерактивный ИИ
- Высокопропускной вывод
- Обслуживание частных моделей
