Detection Transformers (DETR)

Основное новшество DETR заключается в использовании Трансформеров, которые используют механизмы внимания для глобального анализа изображения и избирательного фокусирования на релевантных частях. Это позволяет модели понимать взаимосвязи между объектами и глобальный контекст изображения, обеспечивая более надежные предсказания. Например, DETR может вывести наличие доски для серфинга, если он предсказывает человека на пляже, — возможность, часто отсутствующая у моделей, которые предсказывают объекты изолированно. Фреймворк достигает производительности, сравнимой с передовыми методами, такими как Faster R-CNN, на наборе данных COCO, при этом значительно оптимизируя процесс обнаружения. Вывод может быть реализован с помощью лаконичного кода на Python, что подчеркивает простоту его архитектуры.

Кроме того, унифицированный подход DETR распространяется на паноптическую сегментацию, где он одновременно сегментирует отдельные объекты переднего плана и маркирует пиксели фона. Такое унифицированное управление как элементами переднего плана, так и фона является ключевым преимуществом. Исследования, лежащие в основе DETR, также направлены на преодоление разрыва между обработкой естественного языка (NLP) и компьютерным зрением, демонстрируя мощь Трансформеров в визуальных задачах. Механизмы внимания также повышают интерпретируемость модели, поскольку можно визуализировать, на каких областях изображения сеть фокусируется во время предсказания. DETR доступен в виде кода с открытым исходным кодом с предварительно обученными моделями в PyTorch, что способствует дальнейшим исследованиям и разработкам в области обнаружения объектов и мультимодальных приложений ИИ.

Фреймворк DETR состоит из глобальной потери на основе наборов, которая обеспечивает уникальные предсказания посредством двудольного сопоставления. Он использует фиксированный небольшой набор обученных запросов объектов, позволяя энкодеру-декодеру Трансформера анализировать взаимосвязи объектов и глобальный контекст изображения для параллельного вывода конечного набора предсказаний. Эта возможность параллельного предсказания контрастирует с предыдущими последовательными подходами, которые были медленнее и менее эффективны. Гибкость архитектуры DETR предполагает потенциал для дальнейшего повышения производительности и улучшения эффективности обучения при дополнительной настройке, что делает его перспективным инструментом для исследователей и разработчиков в области компьютерного зрения.