설명
EvalCore는 개발자가 사용자보다 먼저 AI가 나빠지는 시점을 알 수 있도록 설계되었습니다. 이는 AI 행동에 대한 스냅샷 테스트를 제공하여 사용자가 LLM 애플리케이션이나 에이전트의 동작을 기록하고, 그 기록을 지속적 통합(CI)에서 모든 변경 사항에 대해 재생할 수 있도록 합니다. 이 과정은 오프라인에서 이루어지며, 결정론적이고 완전히 무료입니다.
더 읽기
EvalCore를 사용하면 개발자는 프롬프트 수정, 모델 교체 또는 종속성 업데이트와 같은 변경 사항이 문제를 일으켰는지 쉽게 확인할 수 있습니다. 이 도구는 AI 행동을 기록하고 모든 변경 사항을 기록된 데이터와 비교하여 회귀를 조기에 발견할 수 있도록 합니다. 설정은 간단하며, 모든 프로그래밍 언어와 함께 작동하는 작은 바이너리만 필요하므로 테스트 하니스나 SDK가 필요하지 않습니다.
EvalCore의 첫 번째 실행은 실제 모델을 호출하고 모든 요청 및 응답을 로컬 SQLite 카세트에 기록합니다. 이 카세트는 표준 요청의 해시를 키로 사용하여 토큰 및 비용을 쉽게 추적할 수 있도록 합니다. CI에서의 이후 실행은 카세트를 재생하여 동일한 입력이 동일한 출력을 생성하도록 보장하며, 효과적으로 회귀를 차단합니다. 이는 개발자가 네트워크 접근이나 API 키 없이 테스트를 실행할 수 있게 하여 프로세스를 더 신뢰할 수 있고 효율적으로 만듭니다.
EvalCore는 OpenAI, vLLM, Ollama를 포함한 다양한 모델 및 API와 호환되며, 사용자 정의 REST API 및 셸 명령과도 호환됩니다. 이러한 유연성 덕분에 개발자는 종속성 없이 몇 분 안에 첫 번째 평가를 배포할 수 있습니다. 이 도구는 Apache-2.0 라이센스 하에 오픈 소스로 제공되어 AI 애플리케이션을 개선하고자 하는 누구에게나 접근 가능합니다.
- 카테고리AI 코드 리뷰 및 테스트
- 요금제무료
- 배포오프라인
- 플랫폼macOS, Linux, CI 러너
EvalCore의 핵심 기능
AI 행동에 대한 스냅샷 테스트
오프라인 재생
결정론적 결과
SDK나 테스트 하니스 필요 없음
요청 및 응답 기록
OpenAI 및 기타 API와 호환
로컬 SQLite 카세트 저장
CI에서 무료로 사용 가능
EvalCore 사용 방법은?
구성: 애플리케이션을 대상으로 설정하고 데이터 세트를 나열합니다.
실행: AI 행동을 기록하기 위해 명령을 실행합니다.
재생: CI에서 기록된 카세트를 사용하여 회귀를 확인합니다.
커밋: 향후 테스트를 위해 카세트를 저장합니다.
EvalCore의 사용 사례
- 회귀 테스트
- 행동 모니터링
- 모델 비교
- 통합 테스트
- 비용 추적
