Open source нейросеть Monkey-Net анимирует любые объекты без учителя

monkey net

Итальянские исследователи предложили метод анимации путем переноса движения из видео на целевое изображение. В отличие от предыдущих разработок Motion transfer, подход Monkey-Net не предназначен для конкретных категорий, а эффективен для анимирования любых объектов.

Сеть Monkey-Net обучается без учителя. Для создания анимации ей требуется только входящее видео и изображение, на которое нужно перенести движения. Ключевая особенность разработки заключается в использовании разреженных, ориентированных на движение ключевых точек для моделирования и передачи информации о движении. На целевое изображение переносятся только точки, отвечающие за движения. 

Читайте также: Танцуют все! — невероятное качество Motion Transfer для видео

Архитектура сети состоит из трех основных модулей:

  • детектора, который обучается без учителя и извлекает ключевые точки объекта;
  • сети прогнозирования Dense Motion для создания тепловых карт и кодирования информации о движении;
  • сети передачи движения (Motion Transfer Generator) c архитектурой энкодер-декодер, которая использует тепловые карты движения и входное изображение, чтобы синтезировать выходные кадры.
monkey net архитектура
Схема предложенного метода

Результаты

Работу метода протестировали на датасетах Tai-Chi, the BAIR robot pushing, UvA-NEMO Smile и MGIF. Результаты показывают, что предложенный метод анимации изображений позволяет получать качественную анимацию для разных объектов.

NEMO Face Dataset

Monkey-Net архитектура

Taichi Dataset

Monkey-Net анимация motion transfer

BAIR Robot Dataset

monkey net результаты

MGIF Dataset

анимирование объектов motion transfer

Больше информации можно получить на сайте проекта. Открытый код доступен на GitHub.

photo wake up нейронная сеть AR анимация

Photo Wake-Up: метод анимирования персонажей на картинах

Команда исследователей Вашингтонского университета и Facebook создала алгоритм Photo Wake-Up, который анимирует персонажей на плоских изображениях: фотографиях, рисунках, комиксах, граффити и даже картинах Пикассо. Как работает Photo Wake-Up создает 3D-фигуру персонажа на картине, после чего анимирует её, создавая эффект выбегания за пределы кадра. Полученную…

Ботов научили самостоятельно одеваться, используя обучение с подкреплением

Ученые из Технологического Института Джорджии научили анимационных персонажей одеваться самостоятельно. Боты умеют надевать виртуальные футболки и куртки, а также одеваться с помощью ассистента. Технология поможет создавать реалистичную компьютерную графику и в будущем может повлиять на разработку роботов, которые будут помогать одеваться больным или людям…

Новый метод переноса движений из видео на виртуального персонажа

Создание реалистичных, похожих на настоящих людей персонажей — важная задача компьютерной анимации. Анимация персонажей применяется в  создании мультфильмов, компьютерных игр, спецэффектов в кино и виртуальной реальности. Ранние работы Анимация персонажей — сложная задача со множеством этапов. Автоматизация части этапов могла бы упростить и ускорить…