AGI-Eval

OpenAI Evals フレームワーク

AI GitHub リポジトリ

大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。OpenAI Evalsは、大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。

言語モデルの包括的評価

AI フレームワーク

HELMは、透明性と再現性に焦点を当てた言語モデル評価のための包括的なベンチマークです。多様なメトリック測定と広範なカバレッジを提供し、すべてのデータは研究と探求のために自由にアクセス可能です。

H2O Eval Studio

AI アプリ

#77

Retrieval-Augmented GenerationおよびLarge Language Modelアプリケーションのパフォーマンス、信頼性、セキュリティを評価するために設計されたモジュラー型プラットフォームです。エグゼクティブダッシュボード、カスタマイズ可能な評価者、高度なインサイトを提供し、AIの信頼性と精度を向上…H2O Eval Studioは、Retrieval-Augmented GenerationおよびLarge Language Modelアプリケーションのパフォーマンス、信頼性、セキュリティを評価するために設計されたモジュラー型プラットフォームです。エグゼクティブダッシュボード、カスタマイズ可能な評価者、高度なインサイトを提供し、AIの信頼性と精度を向上…

Arena AI

AI アプリ

#5

ユーザーが世界最高のAIモデルについてチャットし、比較し、投票できるプラットフォームです。実世界のシナリオを通じて評価されたLLM、画像、コードモデルの公開リーダーボードを提供します。Arena AIは、ユーザーが世界最高のAIモデルについてチャットし、比較し、投票できるプラットフォームです。実世界のシナリオを通じて評価されたLLM、画像、コードモデルの公開リーダーボードを提供します。

Evidently AI - オープンソースのAI評価

AI アプリ

#24

AIアプリケーションの評価と監視のためのオープンソースツールを提供します。LLMをテストし、さまざまなワークフローにおけるパフォーマンスを監視することで、AIシステムが本番環境に適していることを確保します。世界中のAIチームに信頼されています。Evidently AIは、AIアプリケーションの評価と監視のためのオープンソースツールを提供します。LLMをテストし、さまざまなワークフローにおけるパフォーマンスを監視することで、AIシステムが本番環境に適していることを確保します。世界中のAIチームに信頼されています。

人工分析

AI アプリ

#108

AIモデルとAPIホスティングプロバイダーの独立したベンチマークを提供します。品質、価格、出力速度、レイテンシなどの主要なパフォーマンス指標を評価し、開発者がAIスタックを最適化するのを支援します。人工分析は、AIモデルとAPIホスティングプロバイダーの独立したベンチマークを提供します。品質、価格、出力速度、レイテンシなどの主要なパフォーマンス指標を評価し、開発者がAIスタックを最適化するのを支援します。

SuperCLUE

AI アプリ

中国の汎用大規模モデルを評価するための包括的なベンチマークです。国際基準や人間のパフォーマンスと比較して、モデルの効果をさまざまな次元で評価します。SuperCLUEは、中国の汎用大規模モデルを評価するための包括的なベンチマークです。国際基準や人間のパフォーマンスと比較して、モデルの効果をさまざまな次元で評価します。

Langtrace

AI アプリ

#102

開発者がAIプロトタイプをエンタープライズグレードの製品に変換するのを支援するために設計された、オープンソースのオブザーバビリティおよび評価プラットフォームです。AIエージェントのパフォーマンス、セキュリティ、コストに関する洞察を提供し、シームレスな統合とイテレーションのために一般的なフレームワークとLLMプロバイダーをサポートします。Langtraceは、開発者がAIプロトタイプをエンタープライズグレードの製品に変換するのを支援するために設計された、オープンソースのオブザーバビリティおよび評価プラットフォームです。AIエージェントのパフォーマンス、セキュリティ、コストに関する洞察を提供し、シームレスな統合とイテレーションのために一般的なフレームワークとLLMプロバイダーをサポートします。