Изменения

'''DeepfakeДипфейк''' (''дипфейкангл. Deepfake'') {{---}} результат работы ряда алгоритмов для синтеза изображений человеческого лица или голоса. Основные алгоритмыАлгоритмы, применяемые для решения данной задачи основаны на ГенеративноПорождающе-состязательных сетях. Современные алгоритмы позволяют генерировать не только лицо человека, но и его голос. C таким примером можно ознакомится по ссылке [https://www.youtube.com/watch?v=2svOtXaD3gg Home Stallone DeepFake]

[[Файл:Deep_fake_title_crop.png|thumb|400px|Рисунок 1. Примеры дипфейков #1 <ref name=orig>[https://arxiv.org/pdf/1908.05932.pdf]</ref>]]

Одним из этапов замены является реконструкция лица. Реконструкция лица заключается в изменении лица из source исходного изображения, так чтобы мимика и любая лицевая геометрия была соблюдена и соответствовала target нужному изображению.Методы, решавшие данную задачу в прошлом, были основаны на детектировании ключевых точек лица и далее анимацией получившегося меша используя триангуляцию данные точки, с помощью триангуляции Делонестроилась сетка(меш) лица и все треугольники из исходного изображения масштабировались в соответствии с нужным изображением. В основе современных алгоритмов лежат Генеративно-Состязательные Сети сети с различными модификациями.Так же некоторые из используемых методов основаны на попытке аппроксимации некого распределения признаков. Данные методы пытаются вычислить соответствующее распределение и переносят с помощью нейронных сетей эти скрытые представления. В результате генерируется новое фотореалистичное лицо, которое соответствует необходимым характеристикам и метрикам. Одним из известных алгоритмов в этой области является Face2Face<ref name=Face2Face>[http://www.graphics.stanford.edu/~niessner/thies2016face.html Face2Face]</ref>, метод вычисляет меш лица и с помощью алгоритма Морфа 3D модели лица (''англ. 3D morphable face model'')<ref name=3DmorphableFaceModel>[https://arxiv.org/pdf/1909.01815.pdf 3D Morphable Face Model]</ref> переносит геометрию.Методам на основе Генеративно-состязательных сетей не требуется никакие многоуровневые эвристические методы, они берут исходное изображение и сразу делают перенос пропуская промежуточные шаги.

Первые методы как было сказано выше были основаны на детектировании ключевых == Реконструкция лица и сегментация ==Первый этап рассматриваемого алгоритма состоит из двух шагов, сегментации лица в нужных и исходных изображениях и изменении геометрии из исходного лица, чтобы оно соответствовало нужного геометрии лица.Имея изображение $I \in {\rm I\!R}^{3 \times H \times W}$ и тепловую карту лицевых точек соответствующего изображения $H(p) \in {\rm I\!R}^{N \times H \times W}, p \in {\rm I\!R}^{N \times D}$, где $N$ {{---}} число точек, $D$ {{---}} размерность точек, обычно она равна 2, а число точекне превышает 70, одним из известных алгоритмов мы обучаем генератор, чтобы он делал трансформацию данной тепловой карты и входного изображения в этой области является Face2Face<ref name=Face2Face>[httpизображение с необходимой нам геометрией $G_r ://www\{ {\rm I\!R}^{3 \times H \times W}, {\rm I\!R}^{N \times H \times W} \} \to {\rm I\!R}^{3 \times H \times W} $.graphics.stanford.edu/~niessner/thies2016face.html Face2Face]</ref>Пусть $v_s, v_t \in {\rm I\!R}^{70 \times 3}$ и $e_s, метод вычисляет меш e_t \in {\rm I\!R}^{3}$ будут трёхмерными ключевыми лицевыми точками лица и с помощью алгоритма 3D morphable face modelуглами Эйлера<ref name=3DmorphableFaceModeleuler>[https://arxivru.wikipedia.org/pdfwiki/1909.01815.pdf 3D Morphable Face Model%D0%A3%D0%B3%D0%BB%D1%8B_%D0%AD%D0%B9%D0%BB%D0%B5%D1%80%D0%B0 Углы Эйлера]</ref> переносит геометриюв соответствии к $F_s$ и $F_t$, где $F_s$ {{---}} лицо с исходного изображение, $F_t$ {{---}} лицо с нужного изображение.Тогда мы построим 2D проекцию $p_j$ интерполируя между $e_s$ и $e_t$ и центроидами $v_s$ и $v_t$, и используя промежуточные точки мы обратно спроецируем $v_s$ на $I_s$.Другими словами алгоритм реконструкции является рекурсивным для каждой итерации: Методам на основе Генеративно$I_{r_{j}}, S_{r_{j}} = G_r(I_{r_{j -состязательных сетей не требуется никакие многоуровневые эвристические методы1}};H(p_j)), I_{r_{0}} = I_s, они берут исходное i < j < n.$ Наша модель $G_r$ имеет двы выхода. Первый выход выдает изображение и сразу делают перенос в endс перенесенной геометрией, второй {{--to-end стиле}} маску для сегментации. Так же стоить заметить, что маска для сегментации состоит из трех классов, кожи, прически и фона. Такой подход позволяет увеличить точность всего процесса переноса.

== Реконструкция лица и сегментация ==Генераторы обучаются с помощью следующих функций потерь:Первый этап рассмотренного алгоритма состоит из двух шагов, сегментации лица в target и source изображениях и изменением геометрии из source лица, чтобы оно соответствовало target геометрии лица.Имея изображение $I \in displaystyle Loss(G_r) = \lambda_{\rm I\!Rstepwise}^Loss_{3 \times H \times Wrec}$ и тепловую карту лицевых точек $H(pI_{r_{n}}, I_{t}) + \in lambda_{\rm I\!Rrec}Loss_{rec}^(I_{N \times H \times Wr}, p I_{t}) + \in lambda_{adv}Loss_{adv} + \rm I\!Rlambda_{seg}^Loss_{N \times Dpixel}$(S_r, где S_t).$N$ - число точек, $D$ - размерность точек, обычно она равна 2, а число точек не превышает 70, мы обучаем генератор, чтобы он делал трансформацию данной тепловой карты и входного изображения в изображение с необходимой нам геометрией  $G_r : \displaystyle Loss(G_s) = Loss_{ CE} + \lambda_{\rm I\!Rreenact}^Loss_{3 \times H \times Wpixel}(S_t, S_{\rm I\!Rt}^{N \times H \times Wr} ).$ $\displaystyle Loss_{CE} = -\to sum_{\rm I\!Ri=1}^{3 C} t_i \times H log(f(s)_i),\times W} $Пусть $v_s, v_t t\in {\rm I\!R{---}^{70 \times 3}$ и $e_s, e_t \in {Правильная\rm Iметка\!R}^{3}$ будут $3$ мерными ключевыми лицевыми точками лица и углами Эйлера в соответствии к $F_s$ и $F_t$класса. Тогда мы построим 2D проекцию $p_j$ интерполируя между $e_s$ и $e_t$ и центроидами $v_s$ и $v_t$ и используя промежуточные точки мы обратно спроецируем $v_s$ на $I_s$.Другими словами алгоритм реконструкции является рекурсивным для каждой итерации

$\displaystyle Loss_{perc}(x, y) = \sum_{i< j < = 1}^{n} \frac{1}{C_i H_i W_i} || F_i(x) - F_i(y) ||_1, C_i, H_i, W_i\ {{---}}\ число\ каналов\ и\ размер\ изображения.$

$I_\displaystyle Loss_{r_{j}pixel}(x, S_{r_{j}} y) = G_r(I_{r_{j || x - 1}};H(p_j)), I_{r_{0}} = I_sy ||_1 .$

Наша модель $G_r$ имеет 2 выхода\displaystyle Loss_{rec}(x, первый на выходе выдает изображение с перенесенной геометриейy) = \lambda_{perc} Loss_{perc}(x, второй выход маску для сегментации. Так же стоить заметитьy) + \lambda_{pixel} Loss_{pixel}(x, что маска для сегментации содержит в себе часть лица с кожей и часть с волосами отдельно. Такой подход позволяет увеличить точность всего процесса переносаy).$

$Loss(G_r) = \lambda_{stepwise} displaystyle Loss_{recGAN}(I_{r_{n}}G, I_{t}D) + = \lambda_mathbb{recE}Loss__{rec(x, y)}[\log D(I_{r}x, I_{t}y) ] + \lambda_mathbb{advE}Loss__{advx} + [\lambda_{seg}Loss_{pixel}log(1 - D(S_rx, S_tG(x)))].$

Где $G_r$ {{- --}} генератор переноса геометрии, $G_s$ {{--- }} генератор сегментации лица.

[[Файл:Deep_fake_more_results.png|thumb|400px|Рисунок 2. Примеры дипфейков #2<ref name=orig>[https://arxiv.org/pdf/1908.05932.pdf]</ref>]]

Общеизвестным способ переноса геометрии одной текстуры на другую является перенос полигонов из сеток двух мешей<ref name=trns>[https://cmsc733.github.io/assets/2019/p2/results/pdf/Abhi1625_p2.pdf Face Swap]</ref>. Однако существуют более современные способы.

В начале соответствующие углы Эйлера проецируются на плоскость. Далее используя С помощью K-D дерева <ref name=kd>[https://neerc.ifmo.ru/wiki/index.php?title=%D0%9A-d_%D0%B4%D0%B5%D1%80%D0%B5%D0%B2%D1%8C%D1%8F_%D0%B8_%D0%BF%D0%B5%D1%80%D0%B5%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D1%82%D0%BE%D1%87%D0%B5%D0%BA_%D0%B2_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%BB%D1%8C%D0%BD%D0%BE%D0%BC_%D0%BF%D1%80%D1%8F%D0%BC%D0%BE%D1%83%D0%B3%D0%BE%D0%BB%D1%8C%D0%BD%D0%B8%D0%BA%D0%B5_(%D1%81%D1%82%D0%B0%D1%82%D0%B8%D0%BA%D0%B0) K-D дерево tree]</ref> точки в пространстве сегментируются и удаляются слишком близкие по расстоянию, поскольку они не несут в себе много полезной информации, а вычислительная сложность разительно увеличивается. В конце используя Используя оставшиеся точки мы строим меш лица , используя триангуляцию Делоне<ref name=Delaunay>[httpshttp://arxivneerc.orgifmo.ru/abswiki/1311index.0117 php?title=%D0%A2%D1%80%D0%B8%D0%B0%D0%BD%D0%B3%D1%83%D0%BB%D1%8F%D1%86%D0%B8%D1%8F_%D0%94%D0%B5%D0%BB%D0%BE%D0%BD%D0%B5 Триангуляция Делоне]</ref>.

Пусть $x_{i_{1}}, x_{i_{2}}, x_{i_{3}}$ будут трисом (треугольником) $T$ и $I_{s_{i_{1}}}, I_{s_{i_{2}}}, I_{s_{i_{3}}}$ {{---}} соответствующие лица. Необходимо вычислить барицентрические координаты <ref name=bari>[https://ru.wikipedia.org/wiki/%D0%91%D0%B0%D1%80%D0%B8%D1%86%D0%B5%D0%BD%D1%82%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BA%D0%BE%D0%BE%D1%80%D0%B4%D0%B8%D0%BD%D0%B0%D1%82%D1%8B Барицентрические координаты]</ref> $\lambda_{1}, \lambda_{2}, \lambda_{3}$ от $x_t$ относительно $x_{i_{1}}, x_{i_{2}}, x_{i_{3}}$. Тогда результат интерполяции:

$\displaystyle I_r = \sum_{k=1} ^{3} \lambda_k G_r(I_{s_{i_{k}}}; H(p_t)).$

[[Файл:Deep_fake_view.png|right|thumb|500px450px|Рисунок 3. Карта переноса точек<ref name=orig>[https://arxiv.org/pdf/1908.05932.pdf]</ref>]]

Поскольку из-за разницы в углах поворота или разной прически сегментированные маски нужных и исходных изображений могут отличаться видимыми регионами. Например, поэтому у одной маски сегментации длинная прическа, которая закрывает пол лица, а у второй маски сегментации класс волос отсутствует. Поэтому нам необходимо "дорисовать" или "стереть" участки, которые не могут быть перенесены напрямую.

Функция потерь такой сети{{---}}

$\displaystyle Loss(G_c) = \lambda_{rec}Loss_{rec}(I_c, I_t) + \lambda_{adv}Loss_{adv}.$

На самом последнем шаге мы уже имеем лицо, которое правильно повернуто {{---}} и на нем присутствуют только регионы лица, что и на нужном нам изображении. Нам остается только применить цветокоррекцию и минимальные правки чтобы {{---}} отрисованное лицо выглядело натурально.

$\displaystyle P(I_t;I_{r} ^{t};S_t) = arg min ||\nabla f - \nabla I ^{t}_{r}|| ^{2}_{2}.$

$\displaystyle f(i, j) = I_t(i, j), \forall S_t(i, j) = 0.$

$\nabla$ {{- --}} оператор взятия градиента.

$\displaystyle Loss(G_b) = \lambda_{rec}Loss_{rec}(I_t;I_{r} ^{t};S_t), P(I_t;I_{r} ^{t};S_t)) + \lambda_{adv}Loss_{adv}.$

[[Файл:Deep_fake_pipeline.png|thumb|right|550px450px|Рисунок 4. Общая схема алгоритма<ref name=orig>[https://arxiv.org/pdf/1908.05932.pdf]</ref>]]

В качестве обучающего множества можно использовать множество дата сетов с размеченными лицами, одним из таких служит IJB-C <ref name=ijbc>[https://noblis.org/wp-content/uploads/2018/03/icb2018.pdf IJB-C]</ref>. На нем обучается генератор $G_r$. Данный дата сет состоит из более чем $11$ тысяч видео, $5500$ из которых высокого качества. Обучая наш алгоритм При обучении кадры из $I_s$ и $I_t$ берутся из двух случайных видео. Так же для начального шага нам был необходим perceptual loss<ref name=perceptual>[https://arxiv.org/abs/1603.08155 Perceptual Losses for Real-Time Style Transfer and Super-Resolution]</ref>, он может быть получен, обучив VGG-19<ref name=vgg>[https://arxiv.org/abs/1409.1556 Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref> модель или взяв готовую обученную на ImageNet<ref name=imagenet>[http://www.image-net.org/ ImageNet]</ref> или VGGFace2<ref name=vggface2>[https://arxiv.org/abs/1710.08092 VGGFace2: A dataset for recognising faces across pose and age]</ref>, второй дата сет предпочтительный, поскольку для его обучения используются только лица.

Общее время составляет около Время обучения генератора $G_s$ занимает 6 часов, все остальные сети учатся 2-3 дней дня на восьми Nvidia Tesla V100.