説明
EvalCoreは、開発者がユーザーが気づく前にAIの性能が悪化することを知る手助けをするために設計されています。AIの動作に対するスナップショットテストを提供し、ユーザーが自分のLLMアプリやエージェントの動作を記録し、その記録を継続的インテグレーション(CI)で変更ごとに再生することを可能にします。このプロセスはオフラインで、決定論的で、完全に無料です。
続きを読む
EvalCoreを使用することで、開発者はプロンプトの変更、モデルの入れ替え、依存関係の更新などの変更が問題を引き起こしていないかを簡単に確認できます。このツールはAIの動作を記録し、すべての変更を記録されたデータと照合し、回帰を早期に検出します。セットアップは簡単で、任意のプログラミング言語で動作する小さなバイナリのみが必要であり、テストハーネスやSDKは不要です。
EvalCoreの最初の実行では、実際のモデルを呼び出し、すべてのリクエストとレスポンスをローカルのSQLiteカセットに記録します。このカセットは標準リクエストのハッシュに基づいてキー付けされており、トークンやコストの追跡が容易です。CIでのその後の実行ではカセットが再生され、同一の入力が同一の出力を生成することが保証され、回帰を効果的に防ぎます。これにより、開発者はネットワークアクセスやAPIキーを必要とせずにテストを実行でき、プロセスがより信頼性が高く効率的になります。
EvalCoreは、OpenAI、vLLM、Ollamaを含むさまざまなモデルやAPIと互換性があり、カスタムREST APIやシェルコマンドにも対応しています。この柔軟性により、開発者は依存関係なしに数分で最初の評価を出荷できます。このツールはApache-2.0ライセンスの下でオープンソースであり、AIアプリケーションの改善を目指すすべての人にアクセス可能です。
- カテゴリーAI コードレビュー・テスト
- 料金モデル無料
- デプロイオフライン
- プラットフォームmacOS、Linux、CIランナー
EvalCoreの主要機能
AIの動作に対するスナップショットテスト
オフライン再生
決定論的結果
SDKやテストハーネスは不要
リクエストとレスポンスを記録
OpenAIや他のAPIと互換性
ローカルSQLiteカセットストレージ
CIで無料で使用可能
EvalCoreの使い方は?
設定: アプリをターゲットに指定し、データセットをリストします。
実行: AIの動作を記録するためにコマンドを実行します。
再生: CIで記録されたカセットを使用して回帰をチェックします。
コミット: 将来のテストのためにカセットを保存します。
EvalCoreの使用例
- 回帰テスト
- 動作監視
- モデル比較
- 統合テスト
- コスト追跡







