fbpx

Тест: Сможете распознать фейковые фото, созданные GAN?

gan фейковые фотографии

В 2014 году Ян Гудфеллоу представил идею генеративно-состязательных сетей или GAN. Они называются «генеративными», потому что получают на выходе изображения, а «состязательными» — потому что представляют собой две сети, конкурирующие друг с другом. Первая старается обмануть вторую, создавая примеры фото, а вторая пытается отличить настоящие изображения от поддельных. 

К 2017 году GAN уже научились создавать убедительные фейки, которые трудно отличить от реальных фото. Подобные технологии могут применяться в рекламе и видеоиграх, но также могут стать инструментом дезинформации.

Тест

Сначала попробуйте самостоятельно распознать фальшивые фото с помощью этого теста. После этого возвращайтесь к чтению статьи.

фейковые фото DCGAN 2014
Фото, созданные DCGAN в 2014

Как видите, в 2014 GAN создавали изображения, которые легко отличить от реальных фотографий.

На изображении ниже примеры лиц, сгенерированных нейросетью в 2017:

фейковые фото twin-gan
Реалистичные фото знаменитостей, сделанные с помощью PGAN в 2017

Узнать, настоящий ли человек на фото можно обратив внимание на ряд деталей. Фотографии, созданные нейросетью, отличаются небольшими артефактами. Примеры будут приведены именно с лицами, потому что на лицах лучше видны изменения. Эти же артефакты помогут распознать и другие виды фейковых изображений.

Волосы выглядят размазанными или окрашенными

Такой артефакт характерен для длинных волос. Большая часть выглядит одинаково, но одна или несколько прядей не полностью прямые и выбиваются из общей картины — как будто волосы немного размазаны или покрашены большой кистью.

Непонятный текст

фейковые фото созданные нейросетью

GAN, которые обучаются созданию лиц, испытывают трудности с созданием текста на фоне. Сети тренируются на двух версиях фото — оригинальной и зеркальной. Поэтому созданный текст может быть отображен в другую сторону.

Сюрреалистичный фон

фейковые фотографии людей gan

Данные для обучения GAN центрируются, чтобы лица выглядели правдоподобно, например, чтобы глаза и уши находились на своих местах. Фон, в свою очередь, может содержать что угодно, поэтому GAN просто генерирует “фоноподобные” текстуры.

Ассиметрия

как отличить реальные фото от фейковых сгенерированных нейросетью

Сеть может испытывать трудности с созданием одинаковых объектов, если они расположены  на достаточно большом расстоянии, как серьги. Не смотря на то что в обучающих датасетах серьги обычно парные, на фальшивых фото они чаще разной длины.

Также стоит обратить внимание на глаза. На реальных фотографиях они смотрят в одном направлении и, в большинстве случаев, имеют одинаковый цвет. На многих фото, созданных GAN, глаза могут смотреть в разные точки и быть гетерохромными.

Уши тоже могут быть разного размера и не совпадать по высоте.

Зубы

зубы на фейковых фото

GAN может генерировать смещенные зубы, зубы неправильных размеров и пропорций. Похожая проблема возникает при работе с повторяющимися деталями, например, при синтезе текстуры с кирпичами.

Растрепанные волосы

волосы на фейковых фотографиях gan

Быстрый способ идентифицировать сгенерированное GAN изображение. Сеть собирает волосы в пучки, создает случайные пучки вокруг головы и на лбу. Работа с волосами — одна из самых сложных для GAN, потому что прически имеют много вариаций и деталей.

Смешивание гендеров

ошибки gan на фотографиях

Эта GAN была обучена на датасете CelebA , который  содержит 200 000 изображений лиц 10 000 знаменитостей. В наборе данных не было примеров людей одновременно с волосами на лице, косметикой и серьгами, но GAN может смешивать подобные признаки.

Шум

артефакты на фотографиях GANНекоторые монохромные области демонстрируют непостоянный шум с горизонтальными или вертикальными полосами. В приведенных выше случаях сеть пытается имитировать текстуру ткани. Старые GAN чаще создают искажения в виде шахматной доски.

Переливы цвета

переливы цвета ganОбласти светлых цветов — одежда, воротники, шея, белки глаз, могут иметь цветные радужные переливы.

Примеры реальных изображений людей

реальные фото людей

Теперь посмотрите фото с реальными людьми. Обратите внимание на фон, симметрию, прически. Можно снова пройти тест и посмотреть, насколько уменьшилось количество ошибок.

Инструменты, которые позволят автоматизировать проверку фейкового контента, уже в разработке. Американские исследователи создали алгоритм, который распознаёт видео с фейками c 99% точностью, анализируя частоту морганий, а нейросеть от Adobe разоблачает поддельные фотографии, автоматически выявляя обработанные и измененные части изображения.