Изменения

При глубоком обучении иногда можно столкнуться с ситуацией, когда датасет набор данных имеет ограниченный размер. Но чтобы получить лучшее лучшие результаты обобщение модели, необходимо иметь больше данных, в том числе и различные их вариации. То есть необходимо увеличить размер датасета исходного набора искусственным образом, и это можно сделать с помощью аугментации данных.

Чаще всего, проблема ограниченного датасета набора данных возникает при решении задач, связанных с обработкой изображений. Следующие способы аугментации изображений являются самыми популярными:[[Файл:BasicAugmentationAugmentation.png|500px400px|thumb|right|Рис 1. Пример аугментации изображенияa) Исходное изображение. b) Отображение по горизонтали. c) Вращение. d) Отступ. <br> e) Увеличение яркости и контрастности. f) Вырезание. <br> g) Добавление шума. h) Изменение RGB каналов.]]*Отображение по вертикали или горизонтали (англ. ''flipping'').*Поворот изображения на определенный угол (англ. ''rotation'').*Создание отступа (англ. ''padding'').*Вырезание части изображения (англ. ''cropping'').*Добавление шума (англ. ''adding noise'').*Манипуляции с цветом (англ. ''color jittering'').

Продвинутыми способами аугментации данных является семейство [[Generative Adversarial Nets (GAN) |GANsпорождающих состязательных сетей]].

Одной из проблем глубокого обучения нейронных сетей является [[Переобучение | переобучение]]. И метод дропаут значится как один из самых популярных способов устранения {{---}} популярный способ решения этой проблемы, благодаря своей простоте простому алгоритму и хорошим практическим результатам.

[[Файл:DropoutExampleNewDropoutExample.jpeg|400px|thumb|right|Рис 2. Пример a) Стандартная нейронная сеть. <br> b) Нейронная сеть после применения метода дропаутдропаута.]]===Как работает Алгоритм дропаут===

|definition= '''Функция активации''' (англ. ''activation function'') <tex>a(x)</tex> определяет выходное значение нейрона в зависимости от результата взвешенной суммы входов и порогового значения.}}Рассмотрим нейрон , у которого взвешенная сумма входов: <tex>Z</tex> с выходным значением <tex>Z z = \sum\limits_{i} w_{i}x_{i} + biasb</tex>, где <tex>w_{i}</tex> и <tex>x_{i}</tex> {{---}} вес и входное значение <tex>i</tex>-ого входа, а <tex>biasb</tex> {{---}} смещение. Полученный результат передается в функцию активации, которая решает рассматривать этот нейрон как активированный, или его можно игнорировать.

[[Файл:BinaryStepFunction.jpg|300px200px|thumb|right|Рис 3. Ступенчатая функция]]

То есть если <tex>Zz</tex> больше или меньше некоторого значения, то нейрон становится активированным. Такая функция отлично работает для бинарной классификации.

[[Файл:LinearFunction.jpg|300px200px|thumb|right|Рис 4. Линейная функция]]

Линейная функция (англ. ''linear function'') представляет собой прямую линию, то есть <tex>Z a(x) = \sum\limits_{i} w_c_{i}x_{i}</tex>, а это значит, что выходное значение результат этой функции активации пропорционально входномупропорционален переданному аргументу. В отличии от предыдущей функции, она позволяет получить диапазон значений на выходе, а не только бинарные 0 и 1, что решает проблему классификации с большим количеством классов. Но у линейной функции есть две основных проблемы:

# Рассмотрим нейронную сеть с несколькими слоями с данной функцией активации. Так как для каждого слоя выходное значение линейно, то они образуют линейную комбинацию, результат результатом которой является линейной функциейлинейная функция. То есть финальная функция активации на последнем слое зависит только от входных значений на первом слое. Это А это значит, что любое количество слоев может быть заменено всего одним слоем, и, следовательно, нет смысла создавать многослойную сеть. Главное отличие линейной функции от остальных в том, что ее область значений не ограничена: <tex>(-\infty; +\infty)</tex>.Следовательно, ее нужно использовать, когда выходное значение нейрона должно <tex>\in \mathbb R</tex>, а не ограниченному интервалу. [[Файл:SigmoidFunction.jpg|200px|thumb|right|Рис 5. Сигмоидная функция]]

Сигмоидная функция (англ. ''sigmoid function''), которую также называет логистической функцией (англ. ''logistic function''), является гладкой монотонно возрастающей нелинейной функцией {{---}} : <tex>\sigma(z) = \dfrac1{1+e^{-z}}</tex>. И так как эта функция нелинейна, то ее можно использовать в нейронных сетях с множеством слоев, а также обучать эти сети методом обратного распространения ошибки. Сигмоида ограничена двумя горизонтальными асимптотами <tex>y = 1</tex> и <tex>y = 0</tex>, что дает нормализацию выходного значения каждого нейрона. Кроме того, для сигмоидной функции характерен гладкий градиент, который предотвращает "прыжки" при подсчете выходного значения. У Помимо всего этого, у этой функции есть еще одно преимущество, для значений <tex>x > 2</tex> и <tex>x < -2</tex>, <tex>y</tex> "прижимается" к одной из асимптот, что позволяет делать четкие предсказания классов.

Несмотря на множество сильных сторон сигмоидной функции, у нее есть значительные недостаткизначительный недостаток. Производная такой функции крайне мала во всех точках, кроме сравнительно небольшого промежутка. Это сильно усложняет процесс улучшения весов с помощью градиентного спуска. Более того, эта проблема усугубляется в случае, если модель содержит много слоев. Данная проблема называется проблемой исчезающего градиента.<ref>[https://en.wikipedia.org/wiki/Vanishing_gradient_problem Vanishing gradient problem, Wikipedia]</ref>

Что касается использования сигмоидной функции, то ее преимущество над другими {{---}} в нормализации выходного значения. Иногда, это бывает крайне необходимо. К примеру, когда итоговое значение слоя должно представлять вероятность случайной величины. Кроме того, эту функцию удобно применять при решении задачи классификации, благодаря свойству "прижимания" к асимптотам. [[Файл:TanhFunction.jpg|300px200px|thumb|right|Рис 6. Функция гиперболического тангенса]]

Функция гиперболического тангенса (англ. ''hyperbolic tangent'') имеет вид {{---}} : <tex>tanh(z) = \dfrac2{1+e^{-2z}} - 1</tex>. Эта функция является скорректированной сигмоидной функцей <tex>tanh(z) = 2 \cdot sigma(2z) - 1</tex>, то есть она сохраняет те же преимущества и недостатки, но уже для диапазона значений <tex>(-1; 1)</tex>.

Обычно, <tex>tanh</tex> является предпочтительнее сигмоиды в случаях, когда нет необходимости в нормализации. Это происходит из-за того, что область определения данной функции активации центрирована относительно нуля, что снимает ограничение при подсчете градиента для перемещения в определенном направлении. Кроме того, производная гиперболического тангенса значительно выше вблизи нуля, давая большую амплитуду градиентному спуску, а следовательно и более быструю сходимость. [[Файл:ReLuFunction.jpg|300px200px|thumb|right|Рис 7. Функция ReLU]]

Rectified Linear Unit {{---}} это наиболее часто используемая активационная функция активации при глубоком обучении. Данная функция возвращает 0, если принимает отрицательный входаргумент, в случае же положительного входааргумента, функция возвращает само число. То есть функция она может быть записана как <tex>f(z)=max(0, z)</tex>. На первый взгляд может показаться, что она линейна и имеет те же проблемы что и линейная функция, но это не так и ее можно использовать в нейронных сетях с множеством слоев.

# Очень быстро и просто считается производная. Для отрицательных значений {{---}} 0, для положительных {{---}} 1.

 У данной функции есть один недостаток, называющийся "Проблемой проблемой умирающего ReLU" <ref>[https://en.wikipedia.org/wiki/Rectifier_(neural_networks)#Potential_problems Dying ReLu ReLU problem), Wikipedia]</ref>. Так как часть производной функции равна нулю, то и градиент для нее будет нулевым, а то это значит, что веса не будут изменяться во время спуска и нейронная сеть перестанет обучаться. Функцию активации ReLU следует использовать, если нет особых требований для выходного значения нейрона, вроде неограниченной области определения. Но если после обучения модели результаты получились не оптимальные, то стоит перейти к другим функциям, которые могут дать лучший результат. [[Файл:LReLuFunction.jpg|200px|thumb|right|Рис 8. Функция Leaky ReLU]]===Функция Leaky ReLU===Одной из проблем стандартного ReLU является затухающий, а именно нулевой, градиент при отрицательных значениях. При использовании обычного ReLU некоторые нейроны умирают, а отследить умирание нейронов не просто. Чтобы решить эту проблему иногда используется подход ReLU с «утечкой» (leak) {{---}} график функции активации на отрицательных значениях образует не горизонтальную прямую, а наклонную, с маленьким угловым коэффициентом (порядка 0,01). То есть она может быть записана как <tex>\begin{equation}f(x) =\begin{cases}0.01x, & \text{if}\ x < 0 \\x, & \text{otherwise} \\\end{cases}\end{equation}</tex>. Такое небольшое отрицательное значение помогает добиться ненулевого градиента при отрицательных значениях. Однако, функция Leaky ReLU имеет некоторые недостатки:# Сложнее считать производную, по сравнению со стандартным подходом (так как значения уже не равны нулю), что замедляет работу каждой эпохи.# Угловой коэффициент прямой также является гиперпараметром, который надо настраивать.# На практике, результат не всегда сильно улучшается относительно ReLU.Стоит отметить, что помимо проблемы умирающих нейронов, у ReLU есть и другая {{---}} проблема [[Затухающий градиент | затухающего градиента]]^{[на 03.01.20 не создан]}. При слишком большом количестве слоев градиент будет принимать очень маленькое значение, постепенно уменьшаясь до нуля. Из-за этого нейронная сеть работает нестабильно и неправильно. Leaky ReLU (LReLU) решает первую проблему, но в по-настоящему глубоких сетях проблема затухания градиента все еще встречается и при использовании этого подхода. На практике LReLU используется не так часто. Практический результат использования LReLU вместо ReLU отличается не слишком сильно. Однако в случае использования Leaky требуется дополнительно настраивать гиперпараметр (уровень наклона при отрицательных значениях), что требует определенных усилий. Еще одной проблемой является то, что результат LReLU не всегда лучше чем при использовании обычного ReLU, поэтому чаще всего такой подход используют как альтернатива. Довольно часто на практике используется PReLU (Parametric ReLU), который позволяет добиться более значительных улучшений по сравнению с ReLU и LReLU. Также, в случае параметрической модификации ReLU, угол наклона не является гиперпараметром и настраивается нейросетью.