Descrição
Rerun oferece uma camada de dados abrangente projetada para as complexidades da IA física e robótica. Seu propósito principal é fornecer as primitivas de dados essenciais necessárias para construir, compreender e aprimorar seu loop de dados. Esta plataforma é projetada para gerenciar dados multirrate e multimodais, escalando perfeitamente desde a primeira gravação até conjuntos de dados em nível de petabyte.
As capacidades do Rerun abrangem todo o pipeline de dados. Ele se destaca na visualização de tudo, permitindo que os usuários revisem conjuntos de dados, depurem problemas intrincados e estendam a funcionalidade com visualizações e ferramentas personalizadas. Para análise de dados, o Rerun suporta consultas completas de dataframe ou SQL em qualquer dado de robótica, permitindo mergulhos profundos em gravações. A plataforma também facilita a transformação de dados sem a necessidade de cópias, permitindo a evolução do esquema e a adição de colunas derivadas sem comprometer a integridade dos dados históricos.
Um diferencial chave é o suporte do Rerun para treinamento de modelos de IA diretamente em gravações. Os usuários podem expressar misturas de conjuntos de dados como consultas e transmitir dados para GPUs, aproveitando dataloaders cientes de colunas e codecs de vídeo. Isso elimina a necessidade de uma etapa de exportação separada, otimizando o fluxo de trabalho de aprendizado de máquina. Além disso, o Rerun promove a colaboração garantindo que todos trabalhem com os mesmos dados, com um único visualizador e gravações compartilhadas acessíveis entre as equipes.
A infraestrutura do Rerun Hub alimenta este loop de dados, atuando como um backend de produção para catalogar, indexar e recuperar dados de object stores. Isso transforma o armazenamento bruto em uma base consultável e transmitível, permitindo transformações de borda ou próximas aos dados. A plataforma é de código aberto, com a equipe Rerun contribuindo ativamente para projetos relacionados de código aberto como egui e gfx-rs.
Rerun é particularmente valioso para pesquisadores e engenheiros em robótica, visão computacional e desenvolvimento de IA. Ele fornece uma solução unificada para visualização, consulta, transformação e treinamento, acelerando significativamente os ciclos de desenvolvimento e melhorando o processo de depuração para sistemas complexos de IA física. Sua facilidade de integração entre Python, C++ e Rust o torna uma ferramenta versátil para uma ampla gama de projetos.
Recursos principais de Rerun
Primitivas de dados para construir e entender loops de dados
Suporte para dados multirrate e multimodais
Escalável desde a gravação inicial até conjuntos de dados massivos
Visualização abrangente de conjuntos de dados
Ferramentas de depuração para análise detalhada de problemas
Extensível com visualizações e ferramentas personalizadas
Capacidades completas de consulta SQL e de dataframe
Transformação de dados sem cópias de dados
Suporte à evolução de esquema sem quebrar o histórico
Treinamento direto de modelos em gravações
Dataloaders cientes de colunas e codecs de vídeo
Acesso compartilhado a dados para colaboração em equipe
Código aberto com contribuições ativas da comunidade
SDKs para Python, C++ e Rust disponíveis
Como usar Rerun?
Comece: Siga os guias de início rápido para C++, Python ou Rust.
Registre Dados: Use o SDK de registro do Rerun para gravar dados multirrate e multimodais.
Visualize: Abra o Visualizador Rerun para explorar, depurar e anotar seus dados.
Consulte Dados: Utilize consultas SQL ou de dataframe para analisar gravações.
Transforme Dados: Refine seus dados e evolua esquemas sem criar cópias.
Treine Modelos: Transmita dados diretamente de gravações para suas GPUs para treinamento.
Compartilhe Insights: Colabore com sua equipe usando gravações compartilhadas e o Visualizador Rerun.
Casos de uso de Rerun
- Visualização de Dados de Robótica
- Treinamento de Modelos de IA
- Melhoria do Loop de Dados
- Análise de Dados Multimodais
- Depuração em Tempo Real
- Desenvolvimento Colaborativo
- Fluxos de Trabalho de Visão Computacional
- Pesquisa em IA Física
