Изменения

Имея изображение $I \in {\rm I\!R} ^{3 \times H \times W}$ и тепловую карту лицевых точек $H(p) \in {\rm I\!R} ^{N \times H \times W}, p \in {\rm I\!R} ^{N \times D}$, где $N$ - число точек, $D$ - размерность точек, обычно она равна 2, а число точек не превышает 70, мы обучаем генератор, чтобы он делал трансформацию данной тепловой карты и входного изображения в изображение с необходимой нам геометрией $G_r : \{ {\rm I\!R} ^{3 \times H \times W}, {\rm I\!R} ^{N \times H \times W} \} \to {\rm I\!R} ^{3 \times H \times W} $Пусть $v_s, v_t \in {\rm I\!R} ^{70 \times 3}$ и $e_s, e_t \in {\rm I\!R} ^{3}$ будут $3$ мерными ключевыми лицевыми точками лица и углами Эйлера в соответствии к $F_s$ и $F_t$. Тогда мы построим 2D проекцию $p_j$ интерполируя между $e_s$ и $e_t$ и центроидами $v_s$ и $v_t$ и используя промежуточные точки мы обратно спроецируем $v_s$ на $I_s$.