Giskard OSS

Ragas LLM評価ツール

AI GitHub リポジトリ

LLMアプリケーションの評価を向上させるために設計されたツールです。開発者にアプリケーションを改善し、AI開発におけるコラボレーションと革新を促進するプラットフォームを提供します。RagasはLLMアプリケーションの評価を向上させるために設計されたツールです。開発者にアプリケーションを改善し、AI開発におけるコラボレーションと革新を促進するプラットフォームを提供します。

DeepEval

AI GitHub リポジトリ

#80

大規模言語モデル（LLM）を評価するために設計されたオープンソースのフレームワークです。開発者が評価プロセスに貢献し、LLMのパフォーマンスと信頼性を向上させることができます。DeepEvalは、大規模言語モデル（LLM）を評価するために設計されたオープンソースのフレームワークです。開発者が評価プロセスに貢献し、LLMのパフォーマンスと信頼性を向上させることができます。

OpenAI Evals フレームワーク

AI GitHub リポジトリ

大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。OpenAI Evalsは、大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。

TruLens 評価ツール

AI GitHub リポジトリ

大規模言語モデル（LLM）およびAIエージェントの実験を評価し追跡するために設計されたGitHubプロジェクトです。パフォーマンスを評価し、AI実験を効果的に管理するためのツールを提供します。TruLensは、大規模言語モデル（LLM）およびAIエージェントの実験を評価し追跡するために設計されたGitHubプロジェクトです。パフォーマンスを評価し、AI実験を効果的に管理するためのツールを提供します。

Langfuse

AI GitHub リポジトリ

#19

LLM評価、可観測性、メトリクス、プロンプト管理などを提供するオープンソースのAIエンジニアリングプラットフォームです。OpenTelemetry、LangChain、OpenAI SDKと統合されており、AI開発のための包括的なツールキットを提供します。Langfuseは、LLM評価、可観測性、メトリクス、プロンプト管理などを提供するオープンソースのAIエンジニアリングプラットフォームです。OpenTelemetry、LangChain、OpenAI SDKと統合されており、AI開発のための包括的なツールキットを提供します。

BetterPrompt テストスイート

AI GitHub リポジトリ

LLMプロンプトを評価するために設計されたテストスイートです。開発者がGitHubでプロンプトテスト機能を向上させるために貢献できるようにし、プロンプト開発におけるコラボレーションと改善を促進します。BetterPromptは、LLMプロンプトを評価するために設計されたテストスイートです。開発者がGitHubでプロンプトテスト機能を向上させるために貢献できるようにし、プロンプト開発におけるコラボレーションと改善を促進します。

Promptfoo AI テストツール

AI GitHub リポジトリ

#75

AIプロンプト、エージェント、およびリトリーバル拡張生成（RAG）のテスト用ツールです。AIのレッドチーミング、ペンテスト、および脆弱性スキャンを提供し、GPT、Claudeなどのモデル間でパフォーマンスを比較します。コマンドラインおよびCI/CDシステムと統合されています。Promptfooは、AIプロンプト、エージェント、およびリトリーバル拡張生成（RAG）のテスト用ツールです。AIのレッドチーミング、ペンテスト、および脆弱性スキャンを提供し、GPT、Claudeなどのモデル間でパフォーマンスを比較します。コマンドラインおよびCI/CDシステムと統合されています。

Phoenix

AI GitHub リポジトリ

#85

Arize Phoenixは、開発者がAIモデルを監視し評価するのを支援するために設計されたAIの可観測性と評価ツールです。モデルのパフォーマンスに関する洞察を提供し、より良い意思決定と最適化を可能にします。