OpenAI Evals フレームワーク

DeepEval

AI GitHub リポジトリ

#91

大規模言語モデル（LLM）を評価するために設計されたオープンソースのフレームワークです。開発者が評価プロセスに貢献し、LLMのパフォーマンスと信頼性を向上させることができます。DeepEvalは、大規模言語モデル（LLM）を評価するために設計されたオープンソースのフレームワークです。開発者が評価プロセスに貢献し、LLMのパフォーマンスと信頼性を向上させることができます。

Langfuse

AI GitHub リポジトリ

#28

LLM評価、可観測性、メトリクス、プロンプト管理などを提供するオープンソースのAIエンジニアリングプラットフォームです。OpenTelemetry、LangChain、OpenAI SDKと統合されており、AI開発のための包括的なツールキットを提供します。Langfuseは、LLM評価、可観測性、メトリクス、プロンプト管理などを提供するオープンソースのAIエンジニアリングプラットフォームです。OpenTelemetry、LangChain、OpenAI SDKと統合されており、AI開発のための包括的なツールキットを提供します。

Phoenix

AI GitHub リポジトリ

#101

Arize Phoenixは、開発者がAIモデルを監視し評価するのを支援するために設計されたAIの可観測性と評価ツールです。モデルのパフォーマンスに関する洞察を提供し、より良い意思決定と最適化を可能にします。

TruLens 評価ツール

AI GitHub リポジトリ

大規模言語モデル（LLM）およびAIエージェントの実験を評価し追跡するために設計されたGitHubプロジェクトです。パフォーマンスを評価し、AI実験を効果的に管理するためのツールを提供します。TruLensは、大規模言語モデル（LLM）およびAIエージェントの実験を評価し追跡するために設計されたGitHubプロジェクトです。パフォーマンスを評価し、AI実験を効果的に管理するためのツールを提供します。

Ragas LLM評価ツール

AI GitHub リポジトリ

LLMアプリケーションの評価を向上させるために設計されたツールです。開発者にアプリケーションを改善し、AI開発におけるコラボレーションと革新を促進するプラットフォームを提供します。RagasはLLMアプリケーションの評価を向上させるために設計されたツールです。開発者にアプリケーションを改善し、AI開発におけるコラボレーションと革新を促進するプラットフォームを提供します。

Evidently AI - オープンソースのAI評価

AI アプリ

#20

AIアプリケーションの評価と監視のためのオープンソースツールを提供します。LLMをテストし、さまざまなワークフローにおけるパフォーマンスを監視することで、AIシステムが本番環境に適していることを確保します。世界中のAIチームに信頼されています。Evidently AIは、AIアプリケーションの評価と監視のためのオープンソースツールを提供します。LLMをテストし、さまざまなワークフローにおけるパフォーマンスを監視することで、AIシステムが本番環境に適していることを確保します。世界中のAIチームに信頼されています。

ColossalAI

AI GitHub リポジトリ

#67

大規模AIモデルをより手頃で迅速かつアクセスしやすくすることを目的としたプロジェクトです。AIモデルのトレーニングとデプロイメントを最適化するためのツールとフレームワークを提供し、効率性とスケーラビリティに焦点を当てています。ColossalAIは、大規模AIモデルをより手頃で迅速かつアクセスしやすくすることを目的としたプロジェクトです。AIモデルのトレーニングとデプロイメントを最適化するためのツールとフレームワークを提供し、効率性とスケーラビリティに焦点を当てています。

MLflow - エージェント、LLM、およびモデルのためのオープンソースAIプラットフォーム

AI フレームワーク

#13

エージェント、LLM、およびMLモデルのために設計されたオープンソースのAIプラットフォームです。チームがAIアプリケーションを効率的にデバッグ、評価、監視、最適化できるようにし、あらゆる規模の組織に適しています。MLflowは、エージェント、LLM、およびMLモデルのために設計されたオープンソースのAIプラットフォームです。チームがAIアプリケーションを効率的にデバッグ、評価、監視、最適化できるようにし、あらゆる規模の組織に適しています。