Rerun — Die Datenebene für physische KI

Beschreibung

Rerun bietet eine umfassende Datenebene, die für die Komplexität von physischer KI und Robotik entwickelt wurde. Sein Kernzweck ist die Bereitstellung der wesentlichen Datenprimitive, die zum Aufbauen, Verstehen und Verbessern Ihres Daten-Loops benötigt werden. Diese Plattform ist darauf ausgelegt, multirate und multimodale Daten zu verwalten und nahtlos von der allerersten Aufnahme bis zu Datensätzen im Petabyte-Bereich zu skalieren.

Reruns Fähigkeiten umfassen die gesamte Datenpipeline. Es zeichnet sich durch die Visualisierung von allem aus, sodass Benutzer Datensätze überprüfen, komplexe Probleme debuggen und die Funktionalität mit benutzerdefinierten Ansichten und Tools erweitern können. Für die Datenanalyse unterstützt Rerun vollständige Dataframe- oder SQL-Abfragen über beliebige Robotikdaten, was tiefe Einblicke in Aufzeichnungen ermöglicht. Die Plattform erleichtert auch die Datentransformation ohne die Notwendigkeit von Kopien, was die Schemaentwicklung und das Hinzufügen abgeleiteter Spalten ermöglicht, ohne die Integrität historischer Daten zu beeinträchtigen.

Ein wichtiges Unterscheidungsmerkmal ist die Unterstützung von Rerun für das direkte Training von KI-Modellen auf Aufzeichnungen. Benutzer können Datensatzmischungen als Abfragen ausdrücken und Daten an GPUs streamen, wobei spalten- und videocodec-bewusste Dataloader genutzt werden. Dies eliminiert die Notwendigkeit eines separaten Export-Schritts und optimiert den Workflow des maschinellen Lernens. Darüber hinaus fördert Rerun die Zusammenarbeit, indem es sicherstellt, dass jeder mit denselben Daten arbeitet, mit einem einzigen Viewer und gemeinsam genutzten Aufzeichnungen, die für Teams zugänglich sind.

Die Rerun Hub-Infrastruktur treibt diesen Daten-Loop an und fungiert als Produktions-Backend für die Katalogisierung, Indizierung und Abfrage von Daten aus Objektspeichern. Dies verwandelt Rohspeicher in eine abfragbare, streamfähige Grundlage, die Edge- oder Near-Data-Transformationen ermöglicht. Die Plattform ist Open Source, wobei das Rerun-Team aktiv zu verwandten Open-Source-Projekten wie egui und gfx-rs beiträgt.

Rerun ist besonders wertvoll für Forscher und Ingenieure in den Bereichen Robotik, Computer Vision und KI-Entwicklung. Es bietet eine einheitliche Lösung für Visualisierung, Abfrage, Transformation und Training, beschleunigt Entwicklungszyklen erheblich und verbessert den Debugging-Prozess für komplexe physische KI-Systeme. Seine einfache Integration über Python, C++ und Rust macht es zu einem vielseitigen Werkzeug für eine breite Palette von Projekten.

Rerun's Kernfunktionen

• Datenprimitive zum Erstellen und Verstehen von Daten-Loops

• Unterstützung für multirate und multimodale Daten

• Skalierbar von der initialen Aufnahme bis zu massiven Datensätzen

• Umfassende Visualisierung von Datensätzen

• Debugging-Tools für detaillierte Problemanalyse

• Erweiterbar mit benutzerdefinierten Ansichten und Tools

• Vollständige Dataframe- und SQL-Abfragefähigkeiten

• Datentransformation ohne Datenkopien

• Unterstützung für Schemaentwicklung ohne Beeinträchtigung der Historie

• Direktes Modelltraining auf Aufzeichnungen

• Spalten- und videocodec-bewusste Dataloader

• Gemeinsamer Datenzugriff für Teamkollaboration

• Open Source mit aktiven Community-Beiträgen

• Python-, C++- und Rust-SDKs verfügbar

Wie verwendet man Rerun?

1. 1

   Erste Schritte: Folgen Sie den Schnellstartanleitungen für C++, Python oder Rust.

2. 2

   Daten protokollieren: Verwenden Sie das Rerun Logging SDK, um multirate, multimodale Daten aufzuzeichnen.

3. 3

   Visualisieren: Öffnen Sie den Rerun Viewer, um Ihre Daten zu erkunden, zu debuggen und zu annotieren.

4. 4

   Daten abfragen: Nutzen Sie SQL- oder Dataframe-Abfragen, um Aufzeichnungen zu analysieren.

5. 5

   Daten transformieren: Verfeinern Sie Ihre Daten und entwickeln Sie Schemata weiter, ohne Kopien zu erstellen.

6. 6

   Modelle trainieren: Streamen Sie Daten direkt von Aufzeichnungen an Ihre GPUs für das Training.

7. 7

   Erkenntnisse teilen: Arbeiten Sie mit Ihrem Team zusammen, indem Sie Aufzeichnungen und den Rerun Viewer gemeinsam nutzen.

Rerun's Anwendungsfälle

• Robotik-Datenvisualisierung
• KI-Modelltraining
• Verbesserung von Daten-Loops
• Multimodale Datenanalyse
• Echtzeit-Debugging
• Kollaborative Entwicklung
• Computer Vision Workflows
• Physische KI-Forschung

FAQ von Rerun

• Was ist die Hauptfunktion von Rerun?

  Rerun dient als Datenebene für physische KI und bietet die notwendigen Primitive zum Erstellen, Verstehen und Verbessern von Daten-Loops für multirate, multimodale Daten.

• Welche Arten von Daten kann Rerun verarbeiten?

  Rerun ist darauf ausgelegt, multirate und multimodale Daten zu verarbeiten und von initialen Aufzeichnungen bis zu massiven Datensätzen zu skalieren.

• Wie unterstützt Rerun beim Debugging?

  Rerun ermöglicht es Benutzern, alles zu visualisieren, Datensätze zu überprüfen und detaillierte Probleme zu debuggen, und kann mit benutzerdefinierten Ansichten und Tools für jede Phase der Pipeline erweitert werden.

• Kann Rerun für das Modelltraining verwendet werden?

  Ja, Rerun ermöglicht das Training ohne Export-Schritt, indem es Benutzern erlaubt, Datensatzmischungen als Abfragen auszudrücken und sie direkt an GPUs zu streamen.

• Welche Abfragefähigkeiten bietet Rerun?

  Rerun unterstützt vollständige Dataframe- oder SQL-Abfragen über beliebige Robotikdaten, sodass Benutzer Aufzeichnungen bis hin zu Spalten, Zeitbereichen und Werten abfragen können.

• Unterstützt Rerun Datentransformationen?

  Ja, Rerun ermöglicht es Benutzern, Daten ohne Kopien zu verfeinern, abgeleitete Spalten hinzuzufügen und Schemata zu entwickeln, ohne die Historie zu beeinträchtigen.

• Welche Programmiersprachen werden von Rerun unterstützt?

  Rerun bietet Logging-SDKs für C++, Python und Rust, wobei Unterstützung für andere Sprachen potenziell über offene Issues auf GitHub verfügbar ist.

• Ist Rerun Open Source?

  Ja, Rerun ist Open Source und das Rerun-Team trägt aktiv zu anderen Open-Source-Projekten bei.

• Was ist Rerun Hub?

  Rerun Hub ist das Produktions-Backend für die Rerun-Datenebene und bietet Katalogisierung, Byte-Range-Indizierung und Abfrage, um Objektspeicher abfragbar und streamfähig zu machen.

• Wie erleichtert Rerun die Teamkollaboration?

  Rerun stellt sicher, dass jeder mit denselben Daten arbeitet, indem es einen einzigen Viewer und gemeinsam genutzte Aufzeichnungen bereitstellt, die für das gesamte Team zugänglich sind.

• Kann Rerun 3D-Daten visualisieren?

  Ja, Rerun ist bekannt für seine starken 3D-Visualisierungsfähigkeiten, insbesondere für Anwendungen in der Robotik und Computer Vision.

• Wo finde ich Rerun-Beispiele?

  Beispiele sind verfügbar, um das Rerun Logging SDK zu demonstrieren und seine Verwendung zur Erstellung visueller Durchläufe von Papern zu zeigen.