MnasNet

Описание

MnasNet представляет собой значительный прогресс в автоматизированном проектировании архитектур нейронных сетей, специально ориентированных на ограничения мобильного машинного обучения. Традиционные методы проектирования сверточных нейронных сетей (CNN) для мобильных устройств сталкиваются с проблемами из-за необходимости создания моделей, которые одновременно малы, быстры и точны. Несмотря на то, что такие разработки, как MobileNet и MobileNetV2, повысили эффективность мобильных моделей, ручное проектирование остается сложным и трудоемким процессом с многочисленными архитектурными возможностями.

Вдохновленный успехом AutoML в поиске нейронных архитектур, MnasNet исследует автоматизированный подход с использованием обучения с подкреплением. Ключевым нововведением является явная интеграция информации о скорости модели непосредственно в основную функцию вознаграждения алгоритма поиска. Эта методология, учитывающая платформу, гарантирует, что процесс поиска отдает приоритет моделям, достигающим благоприятного компромисса между точностью и скоростью вывода на реальном мобильном оборудовании. В отличие от предыдущих методов, которые полагались на прокси-метрики, такие как FLOPS, MnasNet напрямую измеряет скорость модели, выполняя модели на реальных устройствах, таких как телефоны Pixel, с использованием TensorFlow Lite.

Система MnasNet состоит из трех основных компонентов: контроллера на основе RNN для выборки архитектур, тренера для построения и оценки точности моделей, а также механизма вывода для измерения скорости на мобильных телефонах. Эта конфигурация позволяет решать задачу многокритериальной оптимизации, направленную как на высокую точность, так и на высокую скорость, используя обучение с подкреплением для обнаружения Парето-оптимальных решений. Для управления сложностью пространства поиска MnasNet вводит новое факторизованное иерархическое пространство поиска. Этот подход разлагает CNN на блоки, при этом иерархический поиск определяет архитектуру для каждого блока, позволяя использовать разнообразные операции слоев при значительном сокращении общего пространства поиска.

Эксперименты по классификации изображений на ImageNet и обнаружению объектов на COCO демонстрируют эффективность MnasNet. Модели достигают передовых результатов при типичных ограничениях скорости для мобильных устройств. Например, модели MnasNet работают в 1,5 раза быстрее, чем MobileNetV2, и в 2,4 раза быстрее, чем NASNet, при сопоставимой точности top-1 на ImageNet. Дальнейшие оптимизации, такие как MnasNet+SE, достигают уровня точности ResNet-50 при значительно меньшем количестве параметров и операций. При обнаружении объектов на COCO модели MnasNet обеспечивают более высокую точность и скорость, чем MobileNet, и сопоставимую точность с SSD300 при значительно сниженных вычислительных затратах. Этот автоматизированный подход способен обеспечивать первоклассную производительность в различных сложных задачах мобильного зрения.

Главное о MnasNet

• Автоматизированный поиск нейронных архитектур для мобильных моделей

• Учет скорости платформы в функции вознаграждения

• Обучение с подкреплением для проектирования моделей

• Прямое измерение скорости на мобильных устройствах (TensorFlow Lite)

• Факторизованное иерархическое пространство поиска

• Многокритериальная оптимизация точности и скорости

• Достижение передовых результатов в задачах мобильного зрения

• Модели работают быстрее, чем модели, разработанные вручную и сгенерированные NAS

• Сниженное количество параметров и вычислительные затраты

• Определение Парето-оптимальных решений

Начало работы с MnasNet

1. 1

   Доступ к модели: Используйте архитектуру MnasNet.

2. 2

   Интеграция через API: Внедрите MnasNet в мобильные приложения.

3. 3

   Настройка среды: Настройте необходимые фреймворки машинного обучения.

4. 4

   Обучение моделей: Используйте компонент тренера для построения и оценки архитектур.

5. 5

   Измерение скорости: Используйте механизм вывода для тестирования скорости на устройстве.

6. 6

   Оптимизация производительности: Дообучите модели для конкретных мобильных платформ.

Варианты использования MnasNet

• Мобильная классификация изображений
• Обнаружение объектов на устройстве
• Автоматизированное проектирование моделей
• ИИ с ограниченными ресурсами
• Оптимизация компромисса между скоростью и точностью

Часто задаваемые вопросы MnasNet

• Что такое MnasNet?

  MnasNet — это автоматизированный подход к поиску нейронных архитектур, разработанный для создания эффективных моделей машинного обучения для мобильных устройств.

• Как MnasNet проектирует мобильные модели?

  MnasNet использует обучение с подкреплением для поиска архитектур, явно включая скорость модели на реальных мобильных устройствах в функцию вознаграждения.

• Каково основное преимущество MnasNet?

  MnasNet находит модели, которые достигают сильного баланса между точностью и скоростью, превосходя модели, разработанные вручную, на мобильных платформах.

• Как измеряется скорость модели в MnasNet?

  Скорость модели измеряется напрямую путем выполнения модели на реальных мобильных телефонах с использованием TensorFlow Lite, а не путем использования прокси-метрик, таких как FLOPS.

• Что такое факторизованное иерархическое пространство поиска?

  Это новое пространство поиска, которое разбивает CNN на блоки, позволяя эффективно исследовать разнообразные архитектуры при одновременном снижении сложности.

• На каких задачах тестировался MnasNet?

  MnasNet тестировался на классификации изображений на ImageNet и обнаружении объектов на COCO.

• Как MnasNet сравнивается с MobileNetV2?

  Модели MnasNet работают в 1,5 раза быстрее, чем передовые модели MobileNetV2, разработанные вручную, при достижении аналогичной точности top-1 на ImageNet.

• Каковы компоненты подхода MnasNet?

  Подход состоит из контроллера на основе RNN, тренера для оценки точности и механизма вывода для измерения скорости.

• Могут ли модели MnasNet быть более эффективными, чем существующие?

  Да, модели MnasNet+SE достигают уровня точности ResNet-50 при 19-кратном уменьшении количества параметров и 10-кратном уменьшении количества операций умножения-сложения по сравнению с ResNet-50.

• Какова целевая аудитория MnasNet?

  Разработчики и исследователи, специализирующиеся на создании эффективных и точных моделей машинного обучения для развертывания на мобильных устройствах.