PointPillars для KITTI

Описание

Репозиторий nutonomy/second.pytorch на GitHub предлагает конкретную реализацию PointPillars для обнаружения объектов в наборе данных KITTI. Этот проект служит демонстрацией для воспроизведения результатов, представленных в статье «PointPillars: Fast Encoders for Object Detection from Point Clouds», предназначенной для публикации на CVPR 2019. Это достигается путем внесения минимальных изменений в существующую открытую кодовую базу SECOND.

Этот репозиторий является форком оригинальной кодовой базы SECOND, адаптированным для задач обнаружения объектов на KITTI. Важно отметить, что этот код не является официальной кодовой базой nuTonomy, хотя он разработан в соответствии с опубликованными результатами PointPillars. Проект был заархивирован его владельцем 13 октября 2021 года и теперь находится в состоянии только для чтения. Для активно поддерживаемого кода, который также может воспроизводить результаты PointPillars на наборе данных nuScenes, пользователям рекомендуется обратиться к репозиторию SECOND.

Начало работы с этим проектом включает клонирование репозитория, установку необходимых пакетов Python (включая PyTorch, Anaconda и конкретные библиотеки, такие как shapely, pybind11, protobuf, scikit-image, numba, pillow, google-sparsehash, fire и tensorboardX), а также настройку CUDA для Numba. Процесс установки также включает инструкции для SparseConvNet, который должен быть правильно сконфигурирован общей кодовой базой SECOND, и, возможно, Boost geometry. Также подробно описаны переменные среды для Numba и конфигурация PYTHONPATH.

Подготовка набора данных является критически важным шагом, требующим загрузки набора данных KITTI и создания определенных структур каталогов. Затем пользователи должны сгенерировать файлы информации KITTI, создать уменьшенные облака точек и сгенерировать информацию базы данных groundtruth с использованием предоставленных скриптов Python. Наконец, необходимо отредактировать конфигурационные файлы, чтобы они указывали на подготовленные наборы данных. Репозиторий описывает процедуры обучения и оценки, включая команды для обучения на одной GPU и возобновления с контрольных точек, а также как сохранять результаты обнаружения в официальном формате меток KITTI.

Главное о PointPillars для KITTI

• Обнаружение объектов из облаков точек

• Реализация алгоритма PointPillars

• Совместимость с набором данных KITTI

• Форк кодовой базы SECOND

• Воспроизводит опубликованные результаты PointPillars

• Кодовая база поддерживает Python 3.6+

• Требуется PyTorch 0.4.1+

• Протестировано на Ubuntu 16.04/18.04

• Включает скрипты подготовки набора данных

• Предоставляет скрипты обучения и оценки

• Поддержка обучения на одной GPU

• Размер пакета 2 для обучения

• Заархивированный репозиторий только для чтения

Начало работы с PointPillars для KITTI

1. 1

   Клонировать код: git clone https://github.com/nutonomy/second.pytorch.git

2. 2

   Установить пакеты Python: Использовать Anaconda для основных пакетов, затем pip для остальных.

3. 3

   Настроить CUDA для Numba: Настроить переменные среды в ~/.bashrc.

4. 4

   Добавить в PYTHONPATH: Включить second.pytorch/ в ваш PYTHONPATH.

5. 5

   Подготовить набор данных: Загрузить KITTI, создать каталоги и запустить скрипты подготовки данных.

6. 6

   Изменить конфигурационный файл: Обновить пути к наборам данных в конфигурационных файлах.

7. 7

   Обучить модель: Запустить скрипт обучения с указанием конфигурационного файла и каталогов моделей.

8. 8

   Оценить модель: Выполнить скрипт оценки для определения производительности модели.

Варианты использования PointPillars для KITTI

• Обнаружение объектов
• Исследования в области автономного вождения
• Анализ облаков точек
• Бенчмаркинг компьютерного зрения
• Академические исследования

Часто задаваемые вопросы PointPillars для KITTI

• Что такое PointPillars для обнаружения объектов на KITTI?

  PointPillars для обнаружения объектов на KITTI — это репозиторий GitHub, который предоставляет код для воспроизведения результатов алгоритма PointPillars для обнаружения объектов на наборе данных KITTI. Он основан на кодовой базе SECOND.

• Активно ли поддерживается этот репозиторий?

  Нет, этот репозиторий был заархивирован владельцем 13 октября 2021 года и теперь доступен только для чтения. Для активно поддерживаемого кода пользователям рекомендуется использовать репозиторий SECOND.

• Каковы системные требования для этого кода?

  Код поддерживает Python 3.6+ и PyTorch 0.4.1+. Он был протестирован на Ubuntu 16.04/18.04 и требует настройки CUDA для Numba.

• Как подготовить набор данных KITTI для этого проекта?

  Вам необходимо загрузить набор данных KITTI, создать определенные структуры каталогов, а затем запустить предоставленные скрипты Python для генерации файлов информации, уменьшенных облаков точек и информации базы данных groundtruth.

• Могу ли я обучить новую модель с помощью этого репозитория?

  Да, вы можете обучить новую модель, запустив скрипт обучения. Если указанный каталог модели не существует, обучение начнется заново. Если он существует, обучение возобновится с последней контрольной точки.

• Поддерживает ли этот репозиторий обучение на нескольких GPU?

  Нет, процесс обучения, описанный в репозитории, поддерживает только одну GPU.

• Каково типичное время обучения этой модели?

  На одной GPU 1080Ti обучение конфигурации xyres_16 в течение 160 эпох занимает примерно 20 часов.

• Как сохраняются результаты обнаружения?

  По умолчанию результаты сохраняются в файл result.pkl. Вы можете сохранить их в официальном формате меток KITTI, используя флаг --pickle_result=False во время оценки.

• Какова связь между этим репозиторием и кодовой базой SECOND?

  Этот репозиторий является форком кодовой базы SECOND с модификациями, специально предназначенными для реализации и демонстрации PointPillars для обнаружения объектов на наборе данных KITTI.

• Где я могу найти оригинальную статью PointPillars?

  Статья доступна на arXiv по адресу https://arxiv.org/abs/1812.05784v1.