Sprix AI ベンチマーク

Giskard OSS

AI GitHub リポジトリ

#97

LLMエージェントのために設計されたオープンソースの評価およびテストライブラリです。言語モデルの性能を評価し改善するためのツールを提供し、堅牢で信頼性の高いAIアプリケーションを確保します。Giskard OSSは、LLMエージェントのために設計されたオープンソースの評価およびテストライブラリです。言語モデルの性能を評価し改善するためのツールを提供し、堅牢で信頼性の高いAIアプリケーションを確保します。

Folkbench

AI GitHub リポジトリ

#100

実際の使いやすさ、レイテンシ、価格に焦点を当てたAI APIのベンチマークと切り替えのためのオープンソースツールです。開発者がニーズに最適な選択肢を選ぶのを助けるために、Claude CodeおよびCodex APIのランキングを提供します。Folkbenchは、実際の使いやすさ、レイテンシ、価格に焦点を当てたAI APIのベンチマークと切り替えのためのオープンソースツールです。開発者がニーズに最適な選択肢を選ぶのを助けるために、Claude CodeおよびCodex APIのランキングを提供します。

harness-lab

AI GitHub リポジトリ

ウェブサイトを訪問は、DeepSeekハーネスの評価ハーネスを提供し、ユーザーがエージェントループ、圧縮、スキル、およびツール設定を再現可能なオフラインタスクでベンチマークできるようにします。これは、DeepSeekハーネスを使用する開発者の評価プロセスを強化するために設計されています。

Ragas LLM評価ツール

AI GitHub リポジトリ

LLMアプリケーションの評価を向上させるために設計されたツールです。開発者にアプリケーションを改善し、AI開発におけるコラボレーションと革新を促進するプラットフォームを提供します。RagasはLLMアプリケーションの評価を向上させるために設計されたツールです。開発者にアプリケーションを改善し、AI開発におけるコラボレーションと革新を促進するプラットフォームを提供します。

goose

AI GitHub リポジトリ

#31

ユーザーが任意のLLMをインストール、実行、編集、テストできるようにすることでコーディングを強化するオープンソースの拡張可能なAIエージェントであり、高度なコード提案を求める開発者にとって多用途なツールを提供します。Gooseは、ユーザーが任意のLLMをインストール、実行、編集、テストできるようにすることでコーディングを強化するオープンソースの拡張可能なAIエージェントであり、高度なコード提案を求める開発者にとって多用途なツールを提供します。

Pi Agent Harness

AI GitHub リポジトリ

piは、統一されたLLM API、エージェントループ、TUI、およびコーディングエージェントCLIを提供するAIエージェントツールキットです。AIエージェントの開発と展開を効率化するように設計されており、開発者がアプリケーションにAI機能を統合しやすくします。

TruLens 評価ツール

AI GitHub リポジトリ

大規模言語モデル（LLM）およびAIエージェントの実験を評価し追跡するために設計されたGitHubプロジェクトです。パフォーマンスを評価し、AI実験を効果的に管理するためのツールを提供します。TruLensは、大規模言語モデル（LLM）およびAIエージェントの実験を評価し追跡するために設計されたGitHubプロジェクトです。パフォーマンスを評価し、AI実験を効果的に管理するためのツールを提供します。

OpenAI Evals フレームワーク

AI GitHub リポジトリ

大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。OpenAI Evalsは、大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。