Описание
ComputeArena — это платформа, посвященная предоставлению локальных ИИ-бенчмарков через вклад сообщества. Она содержит 694 бенчмарка по 36 моделям и 17 чипам, предоставленным 8 участниками сообщества. Платформа позволяет пользователям декодировать и предварительно заполнять токены в секунду по модели, квантованию и чипу, измеряемым с помощью BaseRT или llama.cpp.
Читать далее
Бенчмарки предоставляются сообществом и основаны на подписанных отчетах, созданных на аппаратном обеспечении сообщества. Пользователи могут просматривать результаты по модели, квантованию и чипу, что упрощает сравнение производительности различных конфигураций. Платформа поддерживает macOS и Linux, требуя для установки curl, tar и Python 3. Пользователи могут установить CLI ComputeArena и выбрать между BaseRT или llama.cpp в качестве среды выполнения.
ComputeArena работает в оффлайн-режиме, что означает, что для запуска бенчмарков учетная запись не требуется. Подписанные отчеты остаются на машине пользователя до тех пор, пока он не решит их отправить. Когда пользователь будет готов, он может войти в систему, просмотреть свои сохраненные отчеты и отправить бенчмарки, которые он хочет сделать общедоступными.
Платформа предоставляет главные рейтинги, которые сравнивают совместимые рабочие нагрузки PP512 предварительной заливки и TG128 декодирования, при этом измеренная рабочая нагрузка отображается рядом с каждым результатом. Эта функция позволяет пользователям получить представление о производительности различных ИИ-моделей и конфигураций, что помогает выбрать наилучший вариант для их нужд.
- КатегорияМашинное обучение и наука о данных
- Модель ценообразованияБесплатно
- РазвёртываниеНа своём сервере
- ПлатформыmacOS, Linux
Основные функции ComputeArena
Бенчмарки, представленные сообществом
Поддержка macOS и Linux
Нет необходимости в учетной записи для оффлайн-использования
Подписанные отчеты для подлинности
Сравнение по модели, квантованию и чипу
Использует среды выполнения BaseRT или llama.cpp
Интерактивное меню установки
Главные рейтинги для сравнения производительности
Как использовать ComputeArena?
Установка: Получите CLI ComputeArena для macOS или Linux
Выбор среды выполнения: Выберите BaseRT или llama.cpp
Запуск оффлайн: Выполняйте бенчмарки без учетной записи
Отправка: Войдите в систему и отправьте бенчмарки, когда будете готовы
Варианты использования ComputeArena
- Сравнение производительности моделей
- Сообщество бенчмаркинга
- Оффлайн-бенчмаркинг
- Анализ квантования
- Оценка производительности чипов
