CRAB Benchmark

Windows Agent Arena

AI フレームワーク

Windows OS 上でマルチモーダルAIエージェントを評価するためのスケーラブルなオープンソースフレームワークです。多様なタスクにわたるエージェントワークフローをテストするための現実的な環境を提供し、デスクトップオペレーティングシステムにおけるAIエージェントの能力に関する迅速なベンチマーキングと研…Windows Agent Arena (WAA) は、Windows OS 上でマルチモーダルAIエージェントを評価するためのスケーラブルなオープンソースフレームワークです。多様なタスクにわたるエージェントワークフローをテストするための現実的な環境を提供し、デスクトップオペレーティングシステムにおけるAIエージェントの能力に関する迅速なベンチマーキングと研…

MLflow - エージェント、LLM、およびモデルのためのオープンソースAIプラットフォーム

AI フレームワーク

#11

エージェント、LLM、およびMLモデルのために設計されたオープンソースのAIプラットフォームです。チームがAIアプリケーションを効率的にデバッグ、評価、監視、最適化できるようにし、あらゆる規模の組織に適しています。MLflowは、エージェント、LLM、およびMLモデルのために設計されたオープンソースのAIプラットフォームです。チームがAIアプリケーションを効率的にデバッグ、評価、監視、最適化できるようにし、あらゆる規模の組織に適しています。

Evidently AI - オープンソースのAI評価

AI アプリ

#24

AIアプリケーションの評価と監視のためのオープンソースツールを提供します。LLMをテストし、さまざまなワークフローにおけるパフォーマンスを監視することで、AIシステムが本番環境に適していることを確保します。世界中のAIチームに信頼されています。Evidently AIは、AIアプリケーションの評価と監視のためのオープンソースツールを提供します。LLMをテストし、さまざまなワークフローにおけるパフォーマンスを監視することで、AIシステムが本番環境に適していることを確保します。世界中のAIチームに信頼されています。

Comet - AI開発者プラットフォーム

AI プラットフォーム

#81

開発者向けに設計されたエンドツーエンドのAI可観測性プラットフォームOpikの創造者です。高度なエージェントテスト、最適化、監視機能を提供し、開発プロセスを強化し、AIモデルのパフォーマンスを向上させます。Cometは、開発者向けに設計されたエンドツーエンドのAI可観測性プラットフォームOpikの創造者です。高度なエージェントテスト、最適化、監視機能を提供し、開発プロセスを強化し、AIモデルのパフォーマンスを向上させます。

Future AGI

AI アプリ

#42

AIエージェントの構築、テスト、監視のためのオープンソースプラットフォームです。ガードレール、20以上のメトリクスを使用した包括的な評価、Sentryスタイルのエラー追跡により、AIの幻覚をリアルタイムで検出し修正するのに役立ちます。このプラットフォームは、強化学習による継続的な改善を可能にし、エンドツーエンドのリクエストトレーシング…Future AGIは、AIエージェントの構築、テスト、監視のためのオープンソースプラットフォームです。ガードレール、20以上のメトリクスを使用した包括的な評価、Sentryスタイルのエラー追跡により、AIの幻覚をリアルタイムで検出し修正するのに役立ちます。このプラットフォームは、強化学習による継続的な改善を可能にし、エンドツーエンドのリクエストトレーシング…

Langtrace

AI アプリ

#102

開発者がAIプロトタイプをエンタープライズグレードの製品に変換するのを支援するために設計された、オープンソースのオブザーバビリティおよび評価プラットフォームです。AIエージェントのパフォーマンス、セキュリティ、コストに関する洞察を提供し、シームレスな統合とイテレーションのために一般的なフレームワークとLLMプロバイダーをサポートします。Langtraceは、開発者がAIプロトタイプをエンタープライズグレードの製品に変換するのを支援するために設計された、オープンソースのオブザーバビリティおよび評価プラットフォームです。AIエージェントのパフォーマンス、セキュリティ、コストに関する洞察を提供し、シームレスな統合とイテレーションのために一般的なフレームワークとLLMプロバイダーをサポートします。

ModelScope

AI アプリ

#32

AIモデルとデータセットを探索、実行、ファインチューニング、デプロイするためのオープンソースモデルコミュニティおよびプラットフォームで、AIアプリケーションを構築するためのPythonライブラリとホスティングスタジオを提供します。

OpenAI Evals フレームワーク

AI GitHub リポジトリ

大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。OpenAI Evalsは、大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。