20
правок
Изменения
Рисунок 5 добавлен
===Проблема стабильности обучения===
[[File:Unstable_X_Y.png.png|1305px|thumb|right|Рисунок 5. Симуляция поведения x и y, где x изменяется чтобы лучше минимизировать x*y, а y изменяется чтобы лучше минимизировать чтобы минимизировать -x*y. Шаг градиентного спуска alpha = 0.1. Источник: https://lilianweng.github.io/lil-log/2017/08/20/from-GAN-to-WGAN.html]]
Задача обучения двух состязательных сетей не является задачей поиска локального или глобального минимума функции, а является задачей поиска точки равновесия двух игроков. В теории игр это точка называется точкой равновесия Нэша (англ. Nash equilibrium) в которой оба игрока больше не получают выгоды, хотя следуют оптимальной стратегии.
Рассмотрим задачу поиска этой точки на игрушечном примере, где $G$ хочет максимизировать $xy$ а $D$ - минимизировать. Будем обновлять параметры $x$ и $y$ на основе градиентного спуска:
