Описание
Throttle — это инструмент, предназначенный для снижения затрат, связанных с выводом ИИ на GPU, независимо от того, являются ли они собственными или арендованными. Он достигает этого, выявляя неэффективные конфигурации обслуживания и демонстрируя экономию в терминах долларов на миллион токенов. Это гарантирует, что пользователи сохраняют только те конфигурации, которые действительно приносят экономическую выгоду. Throttle совместим с широким спектром серверов ИИ, включая vLLM, SGLang, TGI, Ollama, LMDeploy, llama.cpp, TensorRT-LLM и NIM, среди прочих.
Читать далее
Инструмент является открытым исходным кодом и доступен под лицензией MIT, что позволяет пользователям проверять и изменять код по мере необходимости. Он работает локально, что означает, что все запросы, ответы и ключи остаются в среде пользователя, обеспечивая конфиденциальность и безопасность данных. Throttle предоставляет интерфейс командной строки (CLI), который бесплатен для использования, а также предлагает бесплатный 2-месячный пилотный проект для корпоративных пользователей.
Модель ценообразования Throttle гибкая, начиная с $10 бесплатных кредитов для Throttle Cloud, для чего не требуется кредитная карта. Стартовый план стоит $30 в месяц, профессиональный план — $50 в месяц, а командный план — $100 в месяц, каждый из которых включает эквивалентные кредиты на использование. Корпоративные планы имеют индивидуальную цену и включают практический пилотный проект, в рамках которого пользователи платят только из проверенной экономии.
Основная функциональность инструмента включает в себя выполнение проверок для определения стоимости на миллион токенов с 95% доверительным интервалом для учета шума. Он отмечает любые изменения в длине вывода или превышении лимита токенов, гарантируя, что учитываются только реальные сбережения. Throttle также предоставляет пользовательский интерфейс (UI) для визуализации экономии и затрат, который можно получить локально на машине пользователя.
- КатегорияMLOps и развёртывание моделей
- Модель ценообразованияFreemium
- РазвёртываниеЛокальный
- ПлатформыСовместимый с OpenAI
Основные функции Throttle
Открытый интерфейс командной строки
Оптимизация затрат на вывод ИИ
Совместимость с несколькими серверами ИИ
Локальная обработка данных
Бесплатный 2-месячный корпоративный пилот
95% доверительный интервал для экономии
Калиброванные решения по шуму
Throttle Cloud с кредитами на использование
Как использовать Throttle?
Установите: pipx install throttle-pro
Запустите: Выполните проверку throttle на вашей настройке
Анализируйте: Просмотрите экономию и конфигурации затрат
Оптимизируйте: Реализуйте экономически эффективные конфигурации
Варианты использования Throttle
- Снижение затрат
- Анализ конфигураций
- Конфиденциальность данных
- Корпоративные сбережения
- Разработка с открытым исходным кодом
