Описание
Rerun предлагает комплексный data layer, разработанный для решения сложных задач Physical AI и робототехники. Его основная цель — предоставить необходимые примитивы данных для построения, понимания и улучшения вашего data loop. Эта платформа спроектирована для управления мультирейтовыми и мультимодальными данными, беспрепятственно масштабируясь от самой первой записи до петабайтных наборов данных.
Возможности Rerun охватывают весь конвейер данных. Он превосходно визуализирует все, позволяя пользователям просматривать наборы данных, отлаживать сложные проблемы и расширять функциональность с помощью пользовательских представлений и инструментов. Для анализа данных Rerun поддерживает полные запросы к DataFrame или SQL по любым данным робототехники, позволяя глубоко анализировать записи. Платформа также облегчает трансформацию данных без необходимости создания копий, позволяя изменять схему и добавлять производные столбцы без ущерба для целостности исторических данных.
Ключевым отличием является поддержка Rerun для обучения моделей ИИ непосредственно на записях. Пользователи могут выражать комбинации наборов данных в виде запросов и передавать данные на GPU, используя загрузчики данных, учитывающие столбцы и видеокодеки. Это устраняет необходимость в отдельном шаге экспорта, оптимизируя рабочий процесс машинного обучения. Кроме того, Rerun способствует сотрудничеству, гарантируя, что все работают с одними и теми же данными, с единым средством просмотра и общими записями, доступными для всех команд.
Инфраструктура Rerun Hub обеспечивает работу этого data loop, выступая в качестве производственного бэкенда для каталогизации, индексации и извлечения данных из объектных хранилищ. Это превращает сырое хранилище в основу для запросов и потоковой передачи, позволяя выполнять преобразования на периферии или рядом с данными. Платформа является open-source, а команда Rerun активно вносит вклад в связанные open-source проекты, такие как egui и gfx-rs.
Rerun особенно ценен для исследователей и инженеров в области робототехники, компьютерного зрения и разработки ИИ. Он предоставляет унифицированное решение для визуализации, запросов, трансформации и обучения, значительно ускоряя циклы разработки и улучшая процесс отладки сложных систем Physical AI. Простота интеграции с Python, C++ и Rust делает его универсальным инструментом для широкого спектра проектов.
Основные функции Rerun
Примитивы данных для построения и понимания data loop
Поддержка мультирейтовых и мультимодальных данных
Масштабирование от начальной записи до огромных наборов данных
Комплексная визуализация наборов данных
Инструменты отладки для детального анализа проблем
Расширяемость с помощью пользовательских представлений и инструментов
Полные возможности запросов к DataFrame и SQL
Трансформация данных без копирования
Поддержка эволюции схемы без нарушения истории
Прямое обучение моделей на записях
Загрузчики данных, учитывающие столбцы и видеокодеки
Общий доступ к данным для командного сотрудничества
Open-source с активным вкладом сообщества
Доступны SDK для Python, C++ и Rust
Как использовать Rerun?
Начало работы: Следуйте кратким руководствам для C++, Python или Rust.
Логирование данных: Используйте SDK для логирования Rerun для записи мультирейтовых, мультимодальных данных.
Визуализация: Откройте Rerun Viewer для изучения, отладки и аннотирования ваших данных.
Запросы к данным: Используйте запросы SQL или DataFrame для анализа записей.
Трансформация данных: Уточняйте данные и изменяйте схемы без создания копий.
Обучение моделей: Передавайте данные непосредственно из записей на ваши GPU для обучения.
Обмен результатами: Сотрудничайте с вашей командой, используя общие записи и Rerun Viewer.
Варианты использования Rerun
- Визуализация данных робототехники
- Обучение моделей ИИ
- Улучшение Data Loop
- Анализ мультимодальных данных
- Отладка в реальном времени
- Совместная разработка
- Рабочие процессы компьютерного зрения
- Исследования в области Physical AI
