Изменения
Нет описания правки
{{В разработке}}
'''Deepfake''' (''дипфейк'') {{---}} результат работы ряда алгоритмов для синтеза изображений человеческого лица или голоса. Основные алгоритмы применяемые для решения данной задачи основаны на Генеративно-состязательных сетях. Современные алгоритмы позволяют генерировать не только лицо человека, но и его голос. C таким примером можно ознакомится по ссылке [https://www.youtube.com/watch?v=2svOtXaD3gg]
[[Файл:Deep_fake_title.png|thumb|1000px|Примеры дипфейков #1]]
== Введение ==
Задача замены лиц или генерация Deepfake изображений состоит в том, чтобы перенести лицо с исходного (source) изображения на нужное (target) изображение. Такой перенос должен быть бесшовным и незаметным человеческому глазу.
Где $G_r$ - генератор переноса геометрии, $G_s$ - генератор сегментации лица.
[[Файл:Deep_fake_more_results.png|thumb|550px|Примеры дипфейков #2]]
== Перенос сгенерированного лица ==
где $p_t$ 2D ключевая точка лица $F_t$.
[[Файл:Deep_fake_view.png|right|thumb|700px|Карта переноса точек]]
== Вписывание лица ==
== Данные для обучения и процесс обучения ==
[[Файл:Deep_fake_pipeline.png|thumb|center|750px|Общая схема алгоритма]]
В качестве обучающего множества можно использовать множество датасетов с размеченными лицами, одним из таких служит IJB-C. На нем обучается генератор $G_r$. Данный датасет состоит из более чем $11$ тысяч видео, $5500$ из которых выского качества. Обучая наш алгоритм кадры из $I_s$ и $I_t$ берутся из двух случайных видео. Так же для начального шага нам был необходим perceptual loss, он может быть получен обучив VGG-19 модель или взяв готовую обученную на ImageNet или VGGFace2, второй датасет предпочтительный, поскольку для его обучения используются только лица.
== Реализация ==
Готовую реализацию можно найти по ссылке [https://github.com/YuvalNirkin/fsgan FSGAN], так же существуют альтернативные, но не менее продвинутые алгоритмы [https://github.com/iperov/DeepFaceLab DeepFaceLab], [https://github.com/deepfakes/faceswap faceswap].
== Источники информации ==
# [https://arxiv.org/pdf/1908.05932.pdf Nirkin, Yuval, Yosi Keller, and Tal Hassner. "FSGAN: Subject agnostic face swapping and reenactment." In Proceedings of the IEEE international conference on computer vision, pp. 7184-7193. 2019.]
# [https://arxiv.org/pdf/1704.06729 Nirkin, Y., Masi, I., Tuan, A. T., Hassner, T., & Medioni, G. (2018, May). On face segmentation, face swapping, and face perception. In 2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018) (pp. 98-105). IEEE.]
[[Категория: Машинное обучение]]
[[Категория: Генерация объектов]]
