Как сверточные нейросети помогают дронам учиться летать

В Intel с помощью сверточной нейросети обучили дрона летать в динамичной среде. Система тестируется как симулированном пространстве, так и в реальном. Результаты системы превосходят state-of-the-art подход и сравнимы с профессиональным пилотом по успешности, но отстают по скорости в полтора раза.

Одни из актуальных проблем при разработке дронов — динамически изменяющиеся среды, ненадежная оценка состояния и функционирование в режиме ресурсоемких операций. Предложенная система пытается решить эти проблемы. Она комбинирует в себе нейронную сеть с генерацией траекторий и методами контроля. Благодаря своей архитектуре, система способна преодолевать гоночные трассы с движущимися препятствиями на высокой скорости.

Что внутри дрона

В качестве данных для обучения системы были собраны снимки с камеры и характеристики положения и скорости дрона в момент, когда снимки были сделаны. CNN напрямую сопоставляет сырые изображения среды к направлению и скорости. На основе того, что выдает CNN, генерируется траектория минимального рывка. Контроллер дрона получает эту траекторию и направляет дрон согласно ей. Удается достичь того, что система работает в самом дроне, не требует глобальной оценки состояний, независима от типа дрона и местности.

Подход состоит из двух компонентов:

  • Система перцепции, которая состоит из сверточной нейросети и предсказывает целевое направление и скорость по изображению местности;
  • Система контроля, которая использует выход системы перцепции, чтобы сгенерировать оптимальную траекторию

Оценка работы системы

Сначала работа системы проверяется на контролируемом симуляторе. Затем система тестируется в реальной жизни. Исследователи сравнивают работу системы с текущим state-of-the-art подходом (VIO) и с человеком в качестве пилота дрона. Система осуществляет переход от симулированного пространства в реальное без потери в точности.

Примеры симуляций трасс для обучения дрона. Каждое препятствие динамично и перемещается в пространстве

Результат работы системы сравним по успешности с профессиональным пилотом, но в полтора раза отстает с ним по времени.

Сравнение работы state-of-the-art подхода, предложенного подхода и профессионального пилота

Видеодемонстрация полета дронов, обученных на симуляциях:

траектория робота

Исследователи из Оксфорда представили алгоритм поиска точки опоры для четвероногих роботов

Исследователи из Оксфорда представили алгоритм для выбора точек опоры для анималистичных роботов. Алгоритм разделяет задачу на два этапа: сначала создаётся траектория, а потом соприкосновение по этой траектории. Принцип работы Этапы планировщика Сначала алгоритм анализирует среду, чтобы извлечь набор потенциальных мест, подходящих для опоры. Затем…

TossingBot от Google учится точно бросать произвольные предметы

В Google разработали роборуку TossingBot, способную захватывать и бросать произвольные предметы в ящики, расположенные за пределами ее максимального диапазона досягаемости. Система может совершать более 500 захватов и бросков в час (или более 600 при точности захвата 85%). Робот достиг скорости захвата в два раза превышающей…
robot learning

Нейросеть V2CNet обучает роботов повторять действия за человеком

Ученые Итальянского университета совместно с исследователями из Australian Centre for Robotic Vision опубликовали алгоритм, который конвертирует демонстрационные видео в команды для роботов. Архитектура V2CNet Сеть V2CNet еть состоит из двух ветвей: ветвь классификации — использует входные объекты для изучения действия через сеть TCN; ветвь…
подводные планеры с ардуино

В Норвегии тестируют планеры с микроконтроллерами Arduino для мониторинга океана

В Норвегии разрабатывают роботизированную скоординированную систему Ocean-Air для проведения полностью автономных наблюдений за океаном. Разработки должны существенно сократить расходы на климатические исследования и повысить точность мониторинга. Что исследуют в океане Морские и прибрежные экосистемы изменяются из-за выбросов парниковых газов, загрязнения воды мусором и отходами…

Обучение с подкреплением применили для настройки протеза ноги

Роботизированный протез обычно настраивается вручную. Инженеры тратят часы, чтобы отрегулировать каждое соединение и адаптировать его к особенностям ходьбы конкретного человека. Метод автоматической настройки протеза c помощью обучения с подкреплением позволяет человеку ходить плавно уже через 10 минут обучения. Обучение с подкреплением Люди проходят через сложный…

25% американцев могут потерять работу из-за автоматизации к 2030 году

Согласно отчету Брукингского института четверть всех рабочих мест в США будут автоматизированы к 2030 году. Еще 36% работников (52 миллиона человек) столкнутся с частичной автоматизацией. Многие экономисты считают, что автоматизация в целом положительно влияет на рынок труда. Она может способствовать экономическому росту, снижению цен…
nvidia роборука на кухне IKEA

Робот Nvidia учится убираться и готовить на кухне IKEA

Nvidia открывает новую робототехническую лабораторию в Сиэтле, чтобы сделать роботов более умными и эффективными. В качестве обучающей площадки компания выбрала стандартную кухню IKEA. Промышленные роботы пока ещё глупы и опасны, не смотря на последние достижения в области машинного обучения. Они выполняют отдельные сложные действия,…

Как нейронные сети обеспечивают работу роботов-доставщиков

Роботы-курьеры (или роботы-доставщики) — одно из перспективных направлений в робототехнике. Компании из США, Европы, Кореи и Японии запускают автономных роботов, которые доставляют продукты и товары из магазинов домой или в офис к покупателям. Роботы Kiwi, Starship, Marble, Nurо, Cleveron, Postamates и множество других уже перемещаются…

В кафе Alibaba появились роботы-официанты для уборки посуды

При супермаркетах Alibaba открыты роботизированные кафе Robot.He. Процесс выбора столика, заказа и получения еды в кафе полностью автоматизирован с 2016 года. Теперь в ресторанах появились роботы для уборки посуды. А работники кафе выполняют только ту работу, с которой роботы пока не справляются — готовят…

Искусственный интеллект и роботы ускорят создание новых молекул

Машинное обучение и робототехника позволят переосмыслить открытие новых химических веществ и материалов. Компания Kebotix создала автономную лабораторию — робот и компьютеры с искусственным интеллектом изучают и оценивают свойства молекул практически без участия людей. Возможно, с помощью ИИ удастся разработать новые материалы, которые будут поглощать…

В Японии создали робота-строителя HPR-5P. Он работает полностью автономно

Учёные из Японского Национального института передовых промышленных наук и технологий (AIST) создали робота-строителя, который сочетает в себе искусственный интеллект и прочный корпус, может работать автономно и выполнять тяжелые строительные работы. На видео показано, как HPR-5P захватывает лист гипсокартона, поднимает, переносит и прикрепляет к стене…

Итоги EmTech 2018: как корпорации и стартапы уже используют и планируют применять AI

Ежегодная конференция EmTech 2018 от MIT проходила с 11 по 14 сентября в MIT Media Lab в Кембридже. Спикеры из Boeing, IBM, Amazon и инновационных стартапов поделились, как в их компаниях используют искусственный интеллект и машинное обучение для улучшения безопасности и оптимизации рабочего процесса…
DeepIM 6DoF

Метод точной оценки позы в 6DoF от исследователей Nvidia

Разработчики Nvidia создали алгоритм DeepIM, который превосходит в точности существующие методы оценки положения объекта в 6DoF, что важно для роботов и VR приложений. Роборука предварительно анализирует положение объекта в пространстве и предказывает, как изменится положение объекта при перемещении. Чем точнее оценка и предсказание позы, тем точнее…

В MIT создали нейросеть, которая обучит роботов сегментировать и передвигать предметы

Исследователи из MIT разработали алгоритм компьютерного зрения Dense Object Net, который помогает роботам в реальном времени распознавать, анализировать и определять назначение новых объектов. Теперь роботы смогут лучше манипулировать предметами — выбирать нужный предмет из нескольких, оценив его свойства. Как работает алгоритм Сначала робот фотографирует объект с разных сторон. Затем нейронная сеть Dense Object Net создаёт…