128
правок
Изменения
Нет описания правки
При обучении обычно используется комбинация функций потерь с некоторыми весами, которые являются гиперпараметрами. В моделях, где вдобавок используется GAN, функция потерь от выхода дискриминатора также подмешивается к итоговой функции потерь.
== Пример современных моделей ==
=== DeepFill v2 ===
Главная идея данной модели это использование стробированной свертки, которая позволила добиться хорошего качества вписывания при восстановлении изображения с разной формы испорченными областями. Также данная модель может использовать набросок пользователя в качестве входных данных.
Более того, чтобы добиться более высокого качества вписывания, предлагается использовать вариант генеративно состязательной сети - SN-PatchGAN. Дискриминатор этой сети в каждой точке вычисляет кусочно-линейную функцию потерь, формируя таким образом h x w x c генеративно состязательных сетей, каждая из которых сосредотачивается на различных частях и свойствах изображения.
Генератор, состоящий из двух сетей (грубой и сети повышающей качество изображения) также адаптируется. Обе сети используют модель кодировщик-декодировщик вместо U-Net, в которой все слои классической свертки заменены на стробированные.
----
=== SC-FEGAN ===
Данная модель позволяет производить высококачественные изображения лиц, учитывая передаваемые пользователем эскизы и цвета на области маски (стертых частях изображения). Иными словами пользователь может легко редактировать изображения, стирая фрагменты, которые он хочет изменить, и подставляя туда эскизы и/или цвета, которые будут отражены в генерируемом фрагменте.
Основа данной сети patchGAN - дискриминатор принимает на вход несколько каналов изображения. В данном случае помимо выходного изображения генератора и маски, дискриминатор принимает еще слой пользовательского ввода (эскизы и цвета).
Итоговая функция потерь формируется из функций сравнения изображения с оригинальным (per-pixel loss, perceptual loss, style loss) и выхода дискриминатора.
== Применение ==
