Beschreibung
telemetry.dev bietet umfassende LLM-Observabilität für KI-Anwendungen und -Agenten und nutzt den OpenTelemetry-Standard. Die Plattform ermöglicht Entwicklern, jeden Aspekt ihrer KI-Operationen zu verfolgen und zu überwachen, von einzelnen Modellaufrufen bis hin zu komplexen Agentenläufen. Ein zentrales Merkmal ist die Möglichkeit, instrumentierte Modellaufrufe, Werkzeugschritte und Abrufe in einem einzigen Trace zu gruppieren, was eine ganzheitliche Sicht auf die Ausführung einer Anfrage oder eines Agenten bietet.
Weiterlesen
Benutzer können kritische Metriken wie Token-Nutzung, Kosten, Latenz und Fehler inspizieren, die für das Debuggen von Fehlern, die Optimierung der Leistung und das Management der Betriebskosten unerlässlich sind. Die Plattform berechnet die Kosten bei der Erfassung basierend auf der gemeldeten Token-Nutzung und ihrem Modellpreiskatalog, wobei explizite Span-Kosten Vorrang haben, wenn sie verfügbar sind. Sie unterstützt First-Party-SDKs für TypeScript und Python sowie Integrationen für beliebte Anbieter und Frameworks wie OpenAI, Anthropic, Vercel AI SDK, LangChain und CrewAI. Andere Sprachen können sich verbinden, indem sie standardmäßiges OTLP über HTTP senden.
telemetry.dev legt Wert auf Datenschutz und Kontrolle, indem es Benutzern ermöglicht, die Erfassung von Eingabeaufforderungen und Antworten pro Umgebung vor der Speicherung zu deaktivieren. Eingebaute und projektspezifische Redaktionsmuster werden ebenfalls angewendet, um sensible Daten zu verwalten. Die Plattform bietet einen kostenlosen Plan, der 30.000 Erfassungseinheiten pro Monat, eine 14-tägige Aufbewahrung, ein Projekt und zwei Sitze umfasst, ohne dass eine Kreditkarte erforderlich ist. Kostenpflichtige Pläne bieten erhöhte Erfassungseinheiten, längere Datenaufbewahrung, mehr Projekte und zusätzliche Sitze, ohne automatische Überziehungsgebühren.
Neben der grundlegenden Verfolgung bietet telemetry.dev Funktionen wie MCP-Analysen, Warnungen für Kosten und Fehler, Eingabeaufforderungsmanagement mit Versionen und Rollouts sowie Evaluierungs-Tracking. Es hilft, langsame Schritte zu identifizieren, fehlgeschlagene Aufrufe zu inspizieren und Ausgaben, Latenz und Fehler über Modelle, Anbieter und Umgebungen hinweg zu vergleichen. Benutzer können Traces nach Name, Status, Umgebung, Framework oder Sitzung durchsuchen und filtern, um sicherzustellen, dass sie schnell die Daten finden, die sie benötigen, um zuverlässige und kosteneffiziente KI-Anwendungen aufrechtzuerhalten.
- KategorieMLOps & Modell-Deployment
- PreismodellFreemium
- BereitstellungCloud
- PlattformenWeb
telemetry.dev's Kernfunktionen
LLM-Observabilität für KI-Agenten
Tracing auf Basis von OpenTelemetry
Inspektion von Token-Nutzung, Kosten, Latenz und Fehlern
First-Party-SDKs für TypeScript und Python
Integrationen mit OpenAI, Anthropic, Vercel AI SDK, LangChain
Unterstützung für Standard-OTLP/HTTP-Exporter
Kostenberechnung aus Token-Nutzung und Modellpreisen
Kontrolle über die Erfassung von Eingabeaufforderungen und Antworten
Eingebaute und projektspezifische Redaktionsmuster
E-Mail-Warnungen für Kosten, Budgets, Agentenschleifen und Fehler
MCP-Analysen für KI-Agenten
Eingabeaufforderungsmanagement mit Versionen und Rollouts
Evaluierungs-Tracking für KI-Läufe
Durchsuchen und Filtern von Traces nach verschiedenen Kriterien
Kostenloser Plan verfügbar mit 30.000 Erfassungseinheiten
Wie verwendet man telemetry.dev?
API-Schlüssel erstellen: Generieren Sie einen Projekt-API-Schlüssel innerhalb von telemetry.dev.
Integration konfigurieren: Richten Sie eine telemetry.dev-Integration für Ihr SDK, Ihren Anbieter oder Ihr Framework ein oder konfigurieren Sie einen OTLP/HTTP-Exporter.
Anwendung instrumentieren: Integrieren Sie das SDK oder OpenTelemetry in Ihre KI-Anwendung, um Traces zu senden.
Instrumentierte Anfrage ausführen: Führen Sie eine KI-Anfrage oder einen Agentenlauf mit aktivierter Instrumentierung aus.
Traces inspizieren: Öffnen Sie den generierten Trace in Ihrem telemetry.dev-Projekt, um Modellaufrufe, Werkzeugschritte, Nutzung und Fehler zu analysieren.
Überwachen und Warnen: Richten Sie Warnungen für Kosten, Budgets, Agentenschleifen und Modell- oder Werkzeugfehler ein, um Ihre KI-Anwendungen proaktiv zu verwalten.
telemetry.dev's Anwendungsfälle
- Debugging von KI-Fehlern
- Überwachung der KI-Ausgaben
- Leistungsoptimierung
- Sicherstellung der KI-Zuverlässigkeit
- Proaktive Warnungen
- Verwaltung sensibler Daten
- Entwicklung von KI-Agenten
- Modell- und Anbietervergleich
