Описание
EvalCore разработан, чтобы помочь разработчикам узнать, когда их ИИ начинает работать хуже, прежде чем это заметят пользователи. Он предлагает тестирование снимков для поведения ИИ, позволяя пользователям записывать, как их приложение или агент LLM ведет себя, а затем воспроизводить эту запись в непрерывной интеграции (CI) при каждом изменении. Этот процесс работает офлайн, детерминированно и совершенно бесплатно.
Читать далее
С помощью EvalCore разработчики могут легко проверить, вызвали ли изменения, такие как модификация подсказки, замена модели или обновление зависимости, какие-либо проблемы. Инструмент записывает поведение ИИ и проверяет каждое изменение по сравнению с записанными данными, гарантируя, что любые регрессии будут выявлены на ранней стадии. Настройка проста и требует только небольшого бинарного файла, который работает с любым языком программирования, исключая необходимость в тестовом каркасе или SDK.
Первый запуск EvalCore вызывает реальную модель и записывает каждый запрос и ответ в локальный кассет SQLite. Этот кассет основан на хеше канонического запроса, что позволяет легко отслеживать токены и затраты. Каждый последующий запуск в CI воспроизводит кассет, гарантируя, что идентичные входные данные дают идентичные выходные данные, тем самым эффективно блокируя регрессии. Это означает, что разработчики могут запускать тесты без необходимости в доступе к сети или API-ключах, что делает процесс более надежным и эффективным.
EvalCore совместим с различными моделями и API, включая OpenAI, vLLM и Ollama, а также с пользовательскими REST API и командными оболочками. Эта гибкость позволяет разработчикам быстро запустить свою первую оценку без каких-либо зависимостей. Инструмент является открытым исходным кодом под лицензией Apache-2.0, что делает его доступным для всех, кто хочет улучшить свои приложения ИИ.
- КатегорияAI-ревью кода и тестирование
- Модель ценообразованияБесплатно
- РазвёртываниеОфлайн
- ПлатформыmacOS, Linux, CI-раннеры
Основные функции EvalCore
Тестирование снимков для поведения ИИ
Офлайн-воспроизведение
Детерминированные результаты
Не требуется SDK или тестовый каркас
Записывает запросы и ответы
Совместим с OpenAI и другими API
Локальное хранилище кассета SQLite
Бесплатно для использования в CI
Как использовать EvalCore?
Настройка: Укажите цель для вашего приложения и перечислите набор данных.
Запуск: Выполните команду для записи поведения ИИ.
Воспроизведение: Используйте записанный кассет в CI для проверки регрессий.
Коммит: Сохраните кассет для будущих тестов.
Варианты использования EvalCore
- Тестирование регрессий
- Мониторинг поведения
- Сравнение моделей
- Тестирование интеграции
- Отслеживание затрат
