113
правок
Изменения
Нет описания правки
==Аугментация данных==
==Дропаут==
==Функции активации==
Одним из важнейших аспектов глубокой нейронной сети является являются функции активации.{{Определение|definition= '''функция Функция активации'''(англ. ''activation function'') определяет выходной сигнал нейрона в зависимости от результата взвешенной суммы входов и порогового значения.}}Рассмотрим нейрон Z с выходным значением <refmath>[https:Z = \sum\limits_{i} w_{i}x_{i} + bias</math>, где <tex>w_{i}</en.wikipedia.orgtex> и <tex>x_{i}</wikitex> {{---}} вес и входное значение <tex>i</Activation_function Activation function. Wikipedia]tex>-ого входа, а <tex>bias</reftex>{{---}} смещение. Полученный результат передается в функцию активации, которая определяет зависимость выходного сигнала нейронов от входного сигнала решает рассматривать этот нейрон как активированный, или набора входных сигналовего можно игнорировать.
=== Sigmoid function Линейная функция===У ступенчатых функций есть определенное количество ограничений, связанных с ее линейностью. Если функция активации является линейной, то независимо от количества складываемых скрытых слоев в нейронной сети, конечный результат по-прежнему будет являеться линейной комбинацией исходных входных данных. Эта линейность означает, что она не может реально охватить сложность нелинейных задач, таких как оператор XOR или различные паттерны, разделенные кривыми или кругами. Другой проблемой является то, что перцептрон с ступенчатой функцией не очень «стабилен», то есть может перейти из состояния 0 в 1 и из 0 в 1 при небольших изменениях в любом из весов входного слоя.
===Сигмоида===У ступенчатых функций есть определенное количество ограничений, связанных с ее линейностью. Если функция активации является линейной, то независимо от количества складываемых скрытых слоев в нейронной сети, конечный результат по-прежнему будет являться линейной комбинацией исходных входных данных. Эта линейность означает, что она не может реально охватить сложность нелинейных задач, таких как оператор XOR или различные паттерны, разделенные кривыми или кругами. Другой проблемой является то, что перцептрон со ступенчатой функцией не очень «стабилен», то есть может перейти из состояния 0 в 1 и из 0 в 1 при небольших изменениях в любом из весов входного слоя. Для того, чтобы избежать данных проблем, в нейронных сетях используется sigmoid сигмоидная функция в качестве активационной. Также ее еще называют логистической.
[[Файл:sigmoid_function.png|border|500px|thumb|center|Рис 1. Sigmoid Function]]
=== Rectified Linear Units (ReLU) ===
Несмотря на множество сильных сторон sigmoid функции, у нее есть значительные недостатки. Производная такой функции крайне мала во всех точках, кроме сравнительно небольшого промежутка. Это сильно усложняет процесс улучшения весов с помощью градиентного спуска. Эта проблема усугубляется в случае, если модель содержит больше слоев. Данная проблема называется проблемой исчезающего градиента.<ref>[https://en.wikipedia.org/wiki/Vanishing_gradient_problem Vanishing gradient problem, Wikipedia]</ref>
Функция ReLU имеет производную равную 0 для всех отрицательных значениях и 1 для положительных. Таким образом, когда обучение происходит на датасетах разумного размера, обычно находятся точки данных, дающие положительные значения для любого выбранного узла. Таким образом, средняя производная редко бывает близка к 0, что позволяет продолжать градиентный спуск.
[[Файл:Relu.png|500px|thumb|center|Рис 2. Rectified Linear Units]]
Функция ReLU отлично работает в большинстве приложений, в результате чего она получила широкое распространение. Данная функция позволяет правильно учитывать нелинейности и взаимодействия.
===Функция гиперболического тангенса===
==См. также==
==Примечания==
<references />
==Источники информации==
