SANet: модель, которая переносит стиль с картины на изображение

Artificial Intelligence Research Institute в Корее опубликовали SANet — нейросетевую модель, которая накладывает на изображение стиль с картины. В нейросети можно регулировать параметр, который отвечает за то, насколько сильно модифицируется начальное изображение. Исследователи вводят identity loss как функцию потерь, чтобы лицо человека на начальном изображении оставалось отличимым.

Перенос стиля на изображение — одна из актуальных задач компьютерного зрения, для которой уже сейчас существуют решения. Проблема ранее предложенных подходов состоит в том, что модели сложно балансировать между паттернами стиля и содержанием начального изображения. Ранние подходы переносят стиль по частям (патчам), поэтому им сложно одновременно поддерживать глобальные и локальные паттерны стиля.

Что внутри нейросети

На вход Self-Attentional Network (SANet) принимает изображение человека и пример картины с тем стилем, который нужно наложить на изображение. Изображения проходят через VGG кодировщик. Декодер трансформирует объединенные фичи из двух SANet. Сами SANet задействуют механизм self-attention.

Нейросеть обучена так, чтобы минимизировать identity loss — разницу между оригинальной фотографией и сгенерированной фотографией. Таким образом, получается, что черты лица человека на сгенерированной фотографии сохраняются.

В качестве тренировочных данных для модели был использован MS-COCO (изображения людей) и WikiArt (картины). Оба датасета содержали около 80,000 изображений.

Пайплайн обучения модели

Оценка работы модели

Исследователи сравнили то, как SANet и три конкурирующие архитектуры справляются с задачей переноса стиля. В качестве конкурирующих архитектур были выбраны метод итеративной оптимизации от Gatys et al., WCT, AdaIN и Avatar-Net.

Пример сгенерированных разными подходами изображений и картина, на которую модель опиралась при генерации
Сравнение времени работы моделей
style transfer tutorial tensorflow

Туториал: перенос стиля изображений с TensorFlow

Перенос стиля (style transfer)  — одно из наиболее креативных приложений сверточных нейронных сетей. Взяв контент с одного изображения и стиль от второго, нейронная сеть объединяет их в одно художественное произведение. Перевод статьи Introduction to Neural Style Transfer with TensorFlow, автор — Marco Peixeiro, ссылка на оригинал…

Nvidia запустила редактор фотографий AI Playground

На конференции GPC 2019 Nvidia анонсировала запуск AI Playground — веб-платформы для редактирования фотографий с помощью нейронных сетей. В компании отмечают, что нацелены сделать свои продукты более доступными для широкой аудитории. Интерфейс платформы AI Playground очень прост и экспериментировать с обработкой фото могут все…

GAN превратила знаменитостей в Санта-Клаусов

Разработчики провели рождественский эксперимент по переносу стиля с помощью генеративно-состязательной нейросети (GAN), превратив знаменитостей в Санта-Клаусов. Разработчики собрали небольшой датасет людей, передетых в Санту — 350 фотографий. Показательно, каких результатов можно добиться с таким количеством данных.  Возможно, разрабочики вдохновились портретом Эдмона Де Белллами, проданным…
stylegan

Нейросеть StyleGAN генерирует идеальные новые лица с помощью алгоритмов переноса стиля

Исследователи Nvidia опубликовали альтернативную архитектуру GAN, основанную на алгоритмах переноса стиля (style transfer). StyleGAN отделяет атрибуты высокого (например, позы и лица) и низкого уровня (веснушки и волосы) и генерирует новое изображение без учителя. Результат работы новой GAN трудно отличить от реальных изображений:   Сеть…
Результат в высоком разрешении

Метод минимизации потерь при переносе стиля в HD-качестве

Изображение содержит информацию не только о фоне и отдельных объектах рисунка, но и о художественном стиле картины (или о фильтре, применённом к фотографии). Стиль — важная часть посыла изображения. Компьютерное зрение помогает разложить рисунок на его содержание и стиль для раздельного анализа каждого из…
Качественное сравнение с другими методами стилизации

ReCoNet: быстрый, точный и когерентный по времени перенос стиля на видео

По всему миру разработчики используют сверточные нейронные сети для переноса стилистики одного изображения на другое или просто модификации изображения. Когда существующие методы достигли высокой скорости обработки, исследователей и разработчиков заинтересовало преобразование видео. Тем не менее, модели стилизации картинок обычно плохо работают для видеороликов из-за…
Unsupervised Attention-Guided Image-to-Image Translation

Неконтролируемое преобразование изображений с механизмом внимания

Преобразование «image-to-image» – метод отображения фото из исходного домена в целевой. Метод включают в себя раскраску изображений, восстановление со сверхвысоким разрешением, перенос стиля, адаптацию домена и увеличение плотности данных. Для большинства подходов требуется, чтобы данные доменов были спарены или согласованы друг с другом, как,…
Neural style transfer

TwinGAN  — междоменный перенос человеческих портретов

С тех пор как Джерри Ли, автор этой статьи, начал смотреть аниме, одна мысль не давала ем покоя: он просто не умеет рисовать. После многочисленных попыток, которые закончились “уничтожением” любимых персонажей, он сдался… пока не начал заниматься машинным обучением. В наше время ИИ играет…