fbpx

Как сверточные нейросети помогают дронам учиться летать

В Intel с помощью сверточной нейросети обучили дрона летать в динамичной среде. Система тестируется как симулированном пространстве, так и в реальном. Результаты системы превосходят state-of-the-art подход и сравнимы с профессиональным пилотом по успешности, но отстают по скорости в полтора раза.

Одни из актуальных проблем при разработке дронов — динамически изменяющиеся среды, ненадежная оценка состояния и функционирование в режиме ресурсоемких операций. Предложенная система пытается решить эти проблемы. Она комбинирует в себе нейронную сеть с генерацией траекторий и методами контроля. Благодаря своей архитектуре, система способна преодолевать гоночные трассы с движущимися препятствиями на высокой скорости.

Что внутри дрона

В качестве данных для обучения системы были собраны снимки с камеры и характеристики положения и скорости дрона в момент, когда снимки были сделаны. CNN напрямую сопоставляет сырые изображения среды к направлению и скорости. На основе того, что выдает CNN, генерируется траектория минимального рывка. Контроллер дрона получает эту траекторию и направляет дрон согласно ей. Удается достичь того, что система работает в самом дроне, не требует глобальной оценки состояний, независима от типа дрона и местности.

Подход состоит из двух компонентов:

  • Система перцепции, которая состоит из сверточной нейросети и предсказывает целевое направление и скорость по изображению местности;
  • Система контроля, которая использует выход системы перцепции, чтобы сгенерировать оптимальную траекторию

Оценка работы системы

Сначала работа системы проверяется на контролируемом симуляторе. Затем система тестируется в реальной жизни. Исследователи сравнивают работу системы с текущим state-of-the-art подходом (VIO) и с человеком в качестве пилота дрона. Система осуществляет переход от симулированного пространства в реальное без потери в точности.

Примеры симуляций трасс для обучения дрона. Каждое препятствие динамично и перемещается в пространстве

Результат работы системы сравним по успешности с профессиональным пилотом, но в полтора раза отстает с ним по времени.

Сравнение работы state-of-the-art подхода, предложенного подхода и профессионального пилота

Видеодемонстрация полета дронов, обученных на симуляциях: