説明
three.devは、開発チームがAIエージェントの障害を検出し修正するのを支援するために設計された専門的なプラットフォームです。これは、AI機能の大規模言語モデル(LLM)トラフィックを記録し、個々のリクエストをスコアリングし、特定された障害を名前付きの障害モードにグループ化することによって機能します。これらの障害モードは深刻度によってランク付けされ、チームが最も影響の大きい問題を優先して対処できるようにします。
続きを読む
このプラットフォームは、既存の開発ワークフローにシームレスに統合されます。ユーザーは、単一のプロンプトを使用してthree.devを設定でき、これによりコーディングエージェントが必要なスキルをインストールし、LLM呼び出しをthree.devプロキシ経由でルーティングします。このプロキシは、リクエストをAIプロバイダーに転送し、同時にレスポンスをthree.devの評価者に送信することで、スコアリングがアプリケーションのパフォーマンスに遅延をもたらさないようにします。十分な障害が蓄積されると、three.devはそれらを自動的にグループ化し、不正確な返金ウィンドウや無視された言語リクエストなどの一般的な問題に関する明確な洞察を提供します。
three.devの重要な機能は、証拠に基づいた問題を提供する能力です。特定された問題は、システムプロンプトの特定の行や会話内のメッセージに至るまで、正確にどこで間違ったのかを示します。この精度により、MCP(Managed Code Platform)を介して統合されたコーディングエージェントがこれらの問題を自動的に修正できるようになります。たとえば、エージェントが誤った返金ウィンドウを提供している場合、three.devは矛盾するコードを特定し、修正を提案できます。これは、ハードコーディングされた14日間のウィンドウが30日間のポリシーに合わせて更新された例で示されています。
three.devはまた、強力な実験をサポートします。チームは、過去のトラフィックを再生して新しいエージェントバージョン(v4)を記録されたリクエストに対してテストし、ライブユーザーに影響を与えることなく障害率の変化を観察できます。さらに高度なテストのために、実際のセッションを分割し、ライブユーザーの一部が新しいバージョンと対話することを可能にし、品質とビジネスメトリックを比較できます。このアプローチは、チームが証拠に基づいて変更を出荷し、完全な展開の前に改善を確保するのに役立ちます。このプラットフォームは、特定のトラフィックに基づいて訓練された専門的な言語モデル(SLM)の開発もサポートしており、特定のユースケースにおいてフロンティアモデルを上回る品質、レイテンシ、コストを実現できます。
three.devの価格設定には、無料プラン、月額79ドルのスタータープラン、月額249ドルのプロプランが含まれており、カスタムニーズに応じたエンタープライズオプションも利用可能です。すべてのプランにはスコアリングと無制限の席が含まれています。無料プランでは、月に0.1GBの処理データと5,000件のスコア付きリクエストが提供されます。スタータープランでは、これが5GBのデータと10,000件のスコア付きリクエストに増加し、プロプランでは20GBのデータと25,000件のスコア付きリクエストが提供されます。追加の使用は、データのGBあたりおよび1,000件のスコア付きリクエストあたりで課金されます。このプラットフォームは、プランの制限を超えてもトラフィックがブロックされることはなく、次の請求サイクルまでリクエストの記録またはスコアリングを停止します。データはアメリカ合衆国に保存され、転送中は暗号化され、プロバイダーキーは静止時に暗号化されます。three.devは、顧客以外の誰に対しても顧客トラフィックで訓練を行わず、データのプライバシーとセキュリティを確保します。
- カテゴリーAI コードレビュー・テスト
- 料金モデルフリーミアム
- デプロイクラウド
- プラットフォームWeb
three.devの主要機能
LLMトラフィック記録:AI機能からのライブLLMトラフィックを記録します。
リクエストスコアリング:パフォーマンスと精度のために個々のLLMリクエストをスコアリングします。
障害モードグループ化:特定された障害を深刻度に基づいて名前付きのカテゴリにグループ化します。
証拠に基づく問題:エラーの正確な発生源を特定し、特定のプロンプト行まで示します。
コーディングエージェント統合:コーディングエージェントのためのMCP統合を介して自動修正を促進します。
ライブ会話分析:ライブ会話を分析してエージェントの障害を特定します。
修正前後の比較:修正前後のエージェントのパフォーマンスを比較します。
トラフィック再生:記録された過去のトラフィックで新しいエージェントバージョンをテストできます。
ライブセッション実験:ライブユーザーの一部でエージェントの変更をA/Bテストできます。
専門的な言語モデル(SLM)訓練:特定のトラフィックに基づいて訓練されたカスタムモデルの構築をサポートします。
チャットインターフェース:トラフィックや障害について自然言語で質問できます。
無制限の席:すべてのプランにはチームコラボレーションのための無制限のユーザー席が含まれています。
データ暗号化:TLS 1.2以上で転送中のトラフィックを暗号化し、AES-256-GCMで静止時のプロバイダーキーを暗号化します。
顧客データでの訓練なし:顧客トラフィックが一般的なモデル訓練に使用されないことを保証します。
カスタマイズ可能な障害モード:チームのメンタルモデルに合わせて障害モードを再構築できます。
three.devの使い方は?
セットアップ:単一のプロンプトをエージェント(Claude Code、Codex、またはCursor)に貼り付けてthree.devのスキルをインストールし、コードに統合します。
トラフィックのルーティング:アプリのLLMリクエストはthree.devプロキシを介してAIプロバイダーに渡され、レスポンスは同時に評価者に送信されます。
障害の監視:three.devはリクエストを記録しスコアリングし、収集された障害をランク付けされた障害モードにグループ化します。
問題の分析:証拠を伴った詳細な障害モードを読み、エージェントがどこで間違ったのかを示します。
障害の修正:MCP統合を使用して、上位の障害モードをコーディングエージェントに渡し、自動修正を行います。
安全な実験:記録されたトラフィックまたはライブセッションの一部で変更をテストし、完全な展開の前に改善を確認します。
パフォーマンスの最適化:障害分析や実験からの洞察を活用して、エージェントの品質とビジネスメトリックを継続的に改善します。
three.devの使用例
- AIエージェントの品質保証
- 自動バグ修正
- LLMパフォーマンス監視
- 証拠に基づくAI開発
- カスタムLLM訓練
- プロアクティブな障害検出
- 会話分析
- AIエージェントのA/Bテスト
- 開発者ワークフロー統合







