人工分析

Evidently AI - オープンソースのAI評価

AI アプリ

#24

AIアプリケーションの評価と監視のためのオープンソースツールを提供します。LLMをテストし、さまざまなワークフローにおけるパフォーマンスを監視することで、AIシステムが本番環境に適していることを確保します。世界中のAIチームに信頼されています。Evidently AIは、AIアプリケーションの評価と監視のためのオープンソースツールを提供します。LLMをテストし、さまざまなワークフローにおけるパフォーマンスを監視することで、AIシステムが本番環境に適していることを確保します。世界中のAIチームに信頼されています。

TruLens: AIエージェントの評価とトレース

AI アプリ

#60

AIエージェントの評価とトレースのためのオープンソースライブラリです。OpenTelemetryを使用してエージェントを計測し、LLMジャッジによってステップをスコアリングし、出荷する最適なバージョンを特定します。TruLensは、品質を犠牲にすることなく失敗を見つけ、コストを最適化するのに役立ちます。TruLensは、AIエージェントの評価とトレースのためのオープンソースライブラリです。OpenTelemetryを使用してエージェントを計測し、LLMジャッジによってステップをスコアリングし、出荷する最適なバージョンを特定します。TruLensは、品質を犠牲にすることなく失敗を見つけ、コストを最適化するのに役立ちます。

OpenAI Evals フレームワーク

AI GitHub リポジトリ

大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。OpenAI Evalsは、大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。

Choosely.AI

AI アプリ

独立したAIインテリジェンスサービスです。価格、機能、ローンチやシャットダウンなど、約345のAIツールの変化を追跡し、独自の進捗インデックスを通じて全体的なAI能力を評価し、記述されたタスクに専門ツールをマッチさせることで、購入者が有料ランキングに依存せずに試すべきもの、保持すべきもの、または削除すべきものを決定できるようにします。Choosely.AIは独立したAIインテリジェンスサービスです。価格、機能、ローンチやシャットダウンなど、約345のAIツールの変化を追跡し、独自の進捗インデックスを通じて全体的なAI能力を評価し、記述されたタスクに専門ツールをマッチさせることで、購入者が有料ランキングに依存せずに試すべきもの、保持すべきもの、または削除すべきものを決定できるようにします。

dataku | データで見るAI

AI ニュースレター

#96

ベンチマーク分析、価格動向、モデル比較を通じてAIデータインテリジェンスを提供します。AIの状況に関する実際の数値とデータに基づいた洞察を提供し、ユーザーが様々なAIモデルやサービスのパフォーマンスとコストを理解するのを支援します。datakuは、ベンチマーク分析、価格動向、モデル比較を通じてAIデータインテリジェンスを提供します。AIの状況に関する実際の数値とデータに基づいた洞察を提供し、ユーザーが様々なAIモデルやサービスのパフォーマンスとコストを理解するのを支援します。

Langtrace

AI アプリ

#102

開発者がAIプロトタイプをエンタープライズグレードの製品に変換するのを支援するために設計された、オープンソースのオブザーバビリティおよび評価プラットフォームです。AIエージェントのパフォーマンス、セキュリティ、コストに関する洞察を提供し、シームレスな統合とイテレーションのために一般的なフレームワークとLLMプロバイダーをサポートします。Langtraceは、開発者がAIプロトタイプをエンタープライズグレードの製品に変換するのを支援するために設計された、オープンソースのオブザーバビリティおよび評価プラットフォームです。AIエージェントのパフォーマンス、セキュリティ、コストに関する洞察を提供し、シームレスな統合とイテレーションのために一般的なフレームワークとLLMプロバイダーをサポートします。

Galileo AIプラットフォーム

AI アプリ

#20

生成AIアプリケーションの可観測性と評価のためのプラットフォームであり、チームが企業規模でAIシステムを監視、評価、保護できるようにします。データセットの構築、正確な評価の作成、信頼性のあるAI運用を確保するためのガードレールの展開に必要なツールを提供します。Galileo AIは、生成AIアプリケーションの可観測性と評価のためのプラットフォームであり、チームが企業規模でAIシステムを監視、評価、保護できるようにします。データセットの構築、正確な評価の作成、信頼性のあるAI運用を確保するためのガードレールの展開に必要なツールを提供します。

Models.dev

AI アプリ

AIモデルの仕様、価格、機能に関する包括的な詳細を提供するオープンソースのデータベースです。主要なラボからのさまざまなモデルに関する洞察を提供し、AIアプリケーションのための情報に基づいた意思決定を支援します。Models.devは、AIモデルの仕様、価格、機能に関する包括的な詳細を提供するオープンソースのデータベースです。主要なラボからのさまざまなモデルに関する洞察を提供し、AIアプリケーションのための情報に基づいた意思決定を支援します。