TruLens 評価ツール

Radicalbit AI Monitoring

AI GitHub リポジトリ

運用中のAIモデルを監視するための包括的なソリューションです。モデルのパフォーマンスと信頼性を確保するためのツールを提供し、AI技術に依存する企業にとって不可欠です。Radicalbit AI Monitoringは、運用中のAIモデルを監視するための包括的なソリューションです。モデルのパフォーマンスと信頼性を確保するためのツールを提供し、AI技術に依存する企業にとって不可欠です。

Langfuse

AI GitHub リポジトリ

#28

LLM評価、可観測性、メトリクス、プロンプト管理などを提供するオープンソースのAIエンジニアリングプラットフォームです。OpenTelemetry、LangChain、OpenAI SDKと統合されており、AI開発のための包括的なツールキットを提供します。Langfuseは、LLM評価、可観測性、メトリクス、プロンプト管理などを提供するオープンソースのAIエンジニアリングプラットフォームです。OpenTelemetry、LangChain、OpenAI SDKと統合されており、AI開発のための包括的なツールキットを提供します。

llamafile

AI GitHub リポジトリ

#141

大規模言語モデル（LLM）の配布と実行を単一のファイルで簡素化するために設計されたツールです。これは、GitHub上のMozilla AIコミュニティ内でのコラボレーションと開発を促進します。Llamafileは、大規模言語モデル（LLM）の配布と実行を単一のファイルで簡素化するために設計されたツールです。これは、GitHub上のMozilla AIコミュニティ内でのコラボレーションと開発を促進します。

Ragas LLM評価ツール

AI GitHub リポジトリ

LLMアプリケーションの評価を向上させるために設計されたツールです。開発者にアプリケーションを改善し、AI開発におけるコラボレーションと革新を促進するプラットフォームを提供します。RagasはLLMアプリケーションの評価を向上させるために設計されたツールです。開発者にアプリケーションを改善し、AI開発におけるコラボレーションと革新を促進するプラットフォームを提供します。

Weights & Biases

AI アプリ

#1

AIモデルおよびアプリケーションの構築、トレーニング、デプロイを支援するAI開発者プラットフォームです。実験追跡、モデル管理、エージェント型アプリケーション開発のためのツールを提供し、チームが自信を持って作業し、AIワークフローを効率化できるようにします。一般的なMLフレームワークと統合されています。Weights & Biasesは、AIモデルおよびアプリケーションの構築、トレーニング、デプロイを支援するAI開発者プラットフォームです。実験追跡、モデル管理、エージェント型アプリケーション開発のためのツールを提供し、チームが自信を持って作業し、AIワークフローを効率化できるようにします。一般的なMLフレームワークと統合されています。

DeepEval

AI GitHub リポジトリ

#91

大規模言語モデル（LLM）を評価するために設計されたオープンソースのフレームワークです。開発者が評価プロセスに貢献し、LLMのパフォーマンスと信頼性を向上させることができます。DeepEvalは、大規模言語モデル（LLM）を評価するために設計されたオープンソースのフレームワークです。開発者が評価プロセスに貢献し、LLMのパフォーマンスと信頼性を向上させることができます。

OpenAI Evals フレームワーク

AI GitHub リポジトリ

大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。OpenAI Evalsは、大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。

harness-lab

AI GitHub リポジトリ

ウェブサイトを訪問は、DeepSeekハーネスの評価ハーネスを提供し、ユーザーがエージェントループ、圧縮、スキル、およびツール設定を再現可能なオフラインタスクでベンチマークできるようにします。これは、DeepSeekハーネスを使用する開発者の評価プロセスを強化するために設計されています。