Общая вычислительная мощность

Описание

Общая вычислительная мощность — это поставщик вывода, ориентированный на скорость. Он разворачивает модели ИИ на специализированной инфраструктуре ASIC, а не на GPU, и предоставляет их через совместимый с OpenAI API, чтобы команды могли переключаться, изменяя свой базовый URL и API-ключ без переписывания кода. Он заявляет о времени до первого токена менее миллисекунды, высокой пропускной способности и до 1000 токенов в секунду, с бенчмарками, сравнивающими выполнение одной и той же модели на Общей вычислительной мощности с базовой линией GPU.

Платформа предлагает три способа работы: API самообслуживания с оплатой за использование, выделенные мощности для команд, которым нужна гарантированная мощность и поддержка в производстве, и обслуживание моделей с собственными весами, которые работают на инфраструктуре Общей вычислительной мощности. Все они имеют одинаковый совместимый с OpenAI интерфейс, включая вызов инструментов, режим JSON, модели, готовые к рассуждениям, и семантику потоковой передачи, так что существующие оркестраторы продолжают работать. Производственный трафик в настоящее время работает в регионе США, с выделенными регионами, доступными для корпоративных развертываний.

Общая вычислительная мощность позиционирует себя как поставщик, ориентированный на спрос и обладающий активами, который покупает, разворачивает и управляет специализированным кремнием (таким как SambaNova и Etched Sohu), чтобы клиенты могли работать на чипах, которые они не будут устанавливать сами, продавая результат как вывод. Новые аккаунты начинают с бесплатного кредита, а планы с оплатой по мере использования наследуют надежность наилучших усилий, в то время как корпоративные уровни добавляют контрактные SLA, пути эскалации и выделенные мощности.

Основные функции Общая вычислительная мощность

• Совместимый с OpenAI API вывода с миграцией базового URL

• Специализированная инфраструктура ASIC для высокоскоростного вывода

• Низкое время до первого токена и высокая пропускная способность

• Вызов инструментов, режим JSON, модели для рассуждений и потоковая передача

• API самообслуживания, выделенные развертывания и обслуживание моделей с собственными весами

• Бесплатный кредит для новых аккаунтов

• Корпоративные уровни с контрактными SLA и выделенной мощностью

Как использовать Общая вычислительная мощность?

1. 1

   Получите ключ: Зарегистрируйтесь и получите API-ключ с бесплатным кредитом.

2. 2

   Измените свой базовый URL: Укажите свой существующий совместимый с OpenAI SDK на Общую вычислительную мощность.

3. 3

   Запустите вывод: Отправляйте запросы и используйте вызов инструментов, режим JSON и потоковую передачу как обычно.

4. 4

   Масштабируйтесь: Перейдите на выделенные мощности или используйте свою модель, когда вам нужна гарантированная мощность.

Варианты использования Общая вычислительная мощность

• Кодирующие агенты
• Голос в реальном времени и интерактивный ИИ
• Высокопропускной вывод
• Обслуживание частных моделей

Часто задаваемые вопросы Общая вычислительная мощность

• Что такое Общая вычислительная мощность?

  Это поставщик вывода, который обслуживает модели ИИ на специализированной инфраструктуре ASIC через совместимый с OpenAI API, ориентированный на высокую скорость.

• Как мне перейти на него?

  Он совместим с OpenAI, поэтому вы можете изменить свой базовый URL и заменить свой API-ключ, сохраняя при этом свой существующий код.

• Какую производительность он предлагает?

  Он заявляет о времени до первого токена менее миллисекунды, высокой пропускной способности и до 1000 токенов в секунду, с бенчмарками, сравнивающими с базовыми линиями GPU.

• Какие варианты развертывания доступны?

  API самообслуживания на основе использования, выделенные мощности для производственных рабочих нагрузок и обслуживание моделей с собственными весами для частных весов.

• Есть ли бесплатный кредит?

  Да. Новые аккаунты получают бесплатный кредит для начала работы.

• Что насчет гарантий надежности?

  Планы с оплатой по мере использования наследуют надежность наилучших усилий, в то время как корпоративные уровни включают контрактные SLA, пути эскалации и выделенные мощности.