20
правок
Изменения
м
→Улучшение обучения GAN
На текущий момент Mode collape является одной из главных проблем GAN, эффективное решение которой ещё ищется.
Возможные решения проблемы mode collapse:
* WGAN {{- --}} использование метрика Вассерштейна (англ. Wasserstein Loss) внутри функции ошибки.* UGAN (Unrolled GAN) {{--- }} для генератора используется функция потерь, которая не только от того, как текущий дискриминатор оценивает выходы генератора, но и от выходов будущих версий дискриминатора.
===Проблема стабильности обучения===
[[File:Unstable_X_Y.png|650px|thumb|right|Рисунок 5. Симуляция поведения $x $ и $y$, где $x $ изменяется , чтобы лучше минимизировать $x*y$, а $y $ изменяется чтобы лучше минимизировать , чтобы минимизировать $-x*y$. Шаг градиентного спуска <tex>\alpha = 0.1</tex>. Источник: https://lilianweng.github.io/lil-log/2017/08/20/from-GAN-to-WGAN.html]]
Задача обучения двух состязательных сетей не является задачей поиска локального или глобального минимума функции, а является задачей поиска точки равновесия двух игроков. В теории игр это точка называется точкой равновесия Нэша (англ. Nash equilibrium) в которой оба игрока больше не получают выгоды, хотя следуют оптимальной стратегии.
Возможные решения проблемы стабильности:
*Регуляризация {{- --}} Добавление шума ко входам дискриминатора и соответствующая настройка гиперпараметров дискриминатора.*PGGAN (Progressive Growing of GANs - , разработана NVidia) {{--- }} в процессе работы разрешение изображений увеличивается от очень малых (4 на 4 пикселя), до конечных (1024 на 1024 пикселя), что позволяет тренировать сначала выявление крупных черт а затем более мелких, что крайне положительно сказывается на стабильности.*WGAN {{--- }} В качестве функции дивергенции используется метрика Вассерштейна, которая в большинстве случаев решает проблему расходимости интеграла в функции Дженсена-Шеннона.
==Применение==
