DeepEval

Langfuse

AI GitHub リポジトリ

#26

LLM評価、可観測性、メトリクス、プロンプト管理などを提供するオープンソースのAIエンジニアリングプラットフォームです。OpenTelemetry、LangChain、OpenAI SDKと統合されており、AI開発のための包括的なツールキットを提供します。Langfuseは、LLM評価、可観測性、メトリクス、プロンプト管理などを提供するオープンソースのAIエンジニアリングプラットフォームです。OpenTelemetry、LangChain、OpenAI SDKと統合されており、AI開発のための包括的なツールキットを提供します。

OpenAI Evals フレームワーク

AI GitHub リポジトリ

大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。OpenAI Evalsは、大規模言語モデル（LLM）およびLLMシステムを評価するために設計されたフレームワークです。AIモデルの性能と能力を評価するためのベンチマークのオープンソースレジストリとして機能します。

Ragas LLM評価ツール

AI GitHub リポジトリ

LLMアプリケーションの評価を向上させるために設計されたツールです。開発者にアプリケーションを改善し、AI開発におけるコラボレーションと革新を促進するプラットフォームを提供します。RagasはLLMアプリケーションの評価を向上させるために設計されたツールです。開発者にアプリケーションを改善し、AI開発におけるコラボレーションと革新を促進するプラットフォームを提供します。

TruLens 評価ツール

AI GitHub リポジトリ

大規模言語モデル（LLM）およびAIエージェントの実験を評価し追跡するために設計されたGitHubプロジェクトです。パフォーマンスを評価し、AI実験を効果的に管理するためのツールを提供します。TruLensは、大規模言語モデル（LLM）およびAIエージェントの実験を評価し追跡するために設計されたGitHubプロジェクトです。パフォーマンスを評価し、AI実験を効果的に管理するためのツールを提供します。

llamafile

AI GitHub リポジトリ

#135

大規模言語モデル（LLM）の配布と実行を単一のファイルで簡素化するために設計されたツールです。これは、GitHub上のMozilla AIコミュニティ内でのコラボレーションと開発を促進します。Llamafileは、大規模言語モデル（LLM）の配布と実行を単一のファイルで簡素化するために設計されたツールです。これは、GitHub上のMozilla AIコミュニティ内でのコラボレーションと開発を促進します。

Langfuse

AI プラットフォーム

#51

開発者がAIアプリケーションを構築、監視、改善するのに役立つように設計された、オープンソースのLLMエンジニアリングプラットフォームです。トレーシング、プロンプト管理、評価、分析を統合されたワークフローで提供します。Langfuseは、さまざまなモデル、フレームワーク、および統合をサポートしており、チームがプロトタイプから本番環境へと効率…Langfuseは、開発者がAIアプリケーションを構築、監視、改善するのに役立つように設計された、オープンソースのLLMエンジニアリングプラットフォームです。トレーシング、プロンプト管理、評価、分析を統合されたワークフローで提供します。Langfuseは、さまざまなモデル、フレームワーク、および統合をサポートしており、チームがプロトタイプから本番環境へと効率…

SGLang

AI GitHub リポジトリ

#53

大規模言語モデルおよびマルチモーダルモデル向けに設計された高性能サービングフレームワークです。AIアプリケーションのパフォーマンスを向上させる効率的なサービング機能を提供し、AI分野の開発者や研究者に適しています。SGLangは、大規模言語モデルおよびマルチモーダルモデル向けに設計された高性能サービングフレームワークです。AIアプリケーションのパフォーマンスを向上させる効率的なサービング機能を提供し、AI分野の開発者や研究者に適しています。

Phoenix

AI GitHub リポジトリ

#84

Arize Phoenixは、開発者がAIモデルを監視し評価するのを支援するために設計されたAIの可観測性と評価ツールです。モデルのパフォーマンスに関する洞察を提供し、より良い意思決定と最適化を可能にします。