설명
three.dev는 개발 팀이 AI 에이전트의 실패를 감지하고 수정하는 데 도움을 주기 위해 설계된 전문 플랫폼입니다. 이 플랫폼은 AI 기능의 대규모 언어 모델(LLM) 트래픽을 기록하고, 개별 요청에 점수를 매기며, 식별된 실패를 명명된 실패 모드로 그룹화하여 작동합니다. 이러한 실패 모드는 심각도에 따라 순위가 매겨져 팀이 가장 영향력 있는 문제를 우선적으로 해결할 수 있도록 합니다.
더 읽기
이 플랫폼은 기존 개발 워크플로우에 원활하게 통합됩니다. 사용자는 단일 프롬프트로 three.dev를 설정할 수 있으며, 이를 통해 코딩 에이전트가 필요한 기술을 설치하고 LLM 호출을 three.dev 프록스를 통해 라우팅할 수 있습니다. 이 프록스는 요청을 AI 제공자에게 전달하면서 동시에 응답을 three.dev의 평가자에게 전송하여 점수가 애플리케이션 성능에 지연을 추가하지 않도록 보장합니다. 충분한 실패가 축적되면 three.dev는 이를 자동으로 그룹화하여 잘못된 환불 기간이나 무시된 언어 요청과 같은 일반적인 문제에 대한 명확한 통찰력을 제공합니다.
three.dev의 주요 기능 중 하나는 증거 기반 문제를 제공하는 능력입니다. 식별된 모든 문제는 시스템 프롬프트의 특정 줄이나 대화 내 메시지까지 정확히 어디에서 잘못되었는지를 인용합니다. 이러한 정밀성 덕분에 MCP(Managed Code Platform)를 통해 통합된 코딩 에이전트가 이러한 문제를 자동으로 수정할 수 있습니다. 예를 들어, 에이전트가 잘못된 환불 기간을 제공하는 경우, three.dev는 충돌하는 코드를 정확히 찾아내고 수정 사항을 제안할 수 있습니다. 예를 들어, 하드코딩된 14일 환불 기간이 30일 정책에 맞게 업데이트된 사례가 있습니다.
three.dev는 또한 강력한 실험을 지원합니다. 팀은 과거 트래픽을 재생하여 새로운 에이전트 버전(v4)을 기록된 요청에 대해 테스트할 수 있으며, 이는 실시간 사용자에게 영향을 미치지 않으면서 실패율의 변화를 관찰할 수 있습니다. 더 고급 테스트를 위해, 실제 세션을 나누어 일부 실시간 사용자가 새로운 버전과 상호작용하도록 하여 품질 및 비즈니스 메트릭을 비교할 수 있습니다. 이러한 접근 방식은 팀이 증거를 기반으로 변경 사항을 배포할 수 있도록 하여 전체 배포 전에 개선 사항을 보장합니다. 이 플랫폼은 특정 트래픽에 대해 훈련된 전문 언어 모델(SLM)의 개발도 지원하며, 이는 특정 사용 사례에 대해 품질, 지연 및 비용에서 최전선 모델을 초월할 수 있습니다.
three.dev의 가격은 무료 플랜, 월 $79의 스타터 플랜, 월 $249의 프로 플랜이 있으며, 맞춤형 요구를 위한 엔터프라이즈 옵션도 제공됩니다. 모든 플랜에는 점수 매기기와 무제한 좌석이 포함됩니다. 무료 플랜은 월 0.1GB의 처리된 데이터와 5,000개의 점수화된 요청을 제공합니다. 스타터 플랜은 이를 5GB의 데이터와 10,000개의 점수화된 요청으로 증가시키며, 프로 플랜은 20GB의 데이터와 25,000개의 점수화된 요청을 제공합니다. 추가 사용량은 데이터 GB당 및 1,000개의 점수화된 요청당 요금이 부과됩니다. 이 플랫폼은 플랜 한도를 초과하더라도 트래픽이 차단되지 않도록 보장하며, 단순히 다음 청구 주기까지 요청의 기록 또는 점수를 중단합니다. 데이터는 미국에 저장되며, 전송 중 암호화되고, 제공자 키는 휴지 상태에서 암호화됩니다. three.dev는 고객을 제외한 누구에게도 고객 트래픽을 훈련하지 않으며, 데이터 프라이버시와 보안을 보장합니다.
- 카테고리AI 코드 리뷰 및 테스트
- 요금제프리미엄
- 배포클라우드
- 플랫폼웹
three.dev의 핵심 기능
LLM 트래픽 기록: AI 기능의 실시간 LLM 트래픽을 기록합니다.
요청 점수 매기기: 성능 및 정확성을 위해 개별 LLM 요청에 점수를 매깁니다.
실패 모드 그룹화: 식별된 실패를 심각도에 따라 순위가 매겨진 명명된 카테고리로 그룹화합니다.
증거 기반 문제: 오류의 정확한 출처를 특정 프롬프트 줄까지 정확히 지적합니다.
코딩 에이전트 통합: 코딩 에이전트를 위한 MCP 통합을 통해 자동 수정을 촉진합니다.
실시간 대화 분석: 실시간 대화를 분석하여 에이전트의 실패를 식별합니다.
수정 전후 비교: 수정 전후의 에이전트 성능을 비교합니다.
트래픽 재생: 기록된 과거 트래픽에서 새로운 에이전트 버전을 테스트할 수 있습니다.
실시간 세션 실험: 실시간 사용자 일부와의 A/B 테스트를 통해 에이전트 변경 사항을 실험합니다.
전문 언어 모델(SLM) 훈련: 특정 트래픽에 대해 훈련된 맞춤형 모델 구축을 지원합니다.
채팅 인터페이스: 트래픽 및 실패에 대해 자연어로 질문할 수 있습니다.
무제한 좌석: 모든 플랜에는 팀 협업을 위한 무제한 사용자 좌석이 포함됩니다.
데이터 암호화: TLS 1.2+로 전송 중 트래픽을 암호화하고, AES-256-GCM으로 휴지 상태에서 제공자 키를 암호화합니다.
고객 데이터에 대한 훈련 없음: 고객 트래픽이 일반 모델 훈련에 사용되지 않도록 보장합니다.
사용자 정의 가능한 실패 모드: 팀의 정신 모델에 맞게 실패 모드를 재구성할 수 있습니다.
three.dev 사용 방법은?
설정: 에이전트(Claude Code, Codex 또는 Cursor)에 단일 프롬프트를 붙여넣어 three.dev 기술을 설치하고 코드에 통합합니다.
트래픽 라우팅: 앱의 LLM 요청이 three.dev 프록스를 통해 AI 제공자에게 전달되며, 응답은 동시에 평가자에게 전송됩니다.
실패 모니터링: three.dev는 요청을 기록하고 점수를 매기며, 수집되는 대로 실패를 순위가 매겨진 실패 모드로 그룹화합니다.
문제 분석: 증거와 함께 자세한 실패 모드를 읽어 에이전트가 잘못된 이유와 위치를 보여줍니다.
실패 수정: MCP 통합을 사용하여 상위 실패 모드를 코딩 에이전트에 전달하여 자동 수정을 수행합니다.
안전한 실험: 기록된 트래픽이나 실시간 세션의 일부에서 변경 사항을 테스트하여 전체 배포 전에 개선 사항을 검증합니다.
성능 최적화: 실패 분석 및 실험에서 얻은 통찰력을 활용하여 에이전트 품질 및 비즈니스 메트릭을 지속적으로 개선합니다.
three.dev의 사용 사례
- AI 에이전트 품질 보증
- 자동 버그 수정
- LLM 성능 모니터링
- 증거 기반 AI 개발
- 맞춤형 LLM 훈련
- 사전 실패 감지
- 대화 분석
- AI 에이전트 A/B 테스트
- 개발자 워크플로우 통합







