Изменения

== Аугментация данных ==== Дропаут ====Функции активации==Одним из важнейших аспектов глубокой нейронной сети является являются функции активации.{{Определение|definition= '''функция Функция активации'''<ref>[https://en(англ.wikipedia.org/wiki/Activation_function Activation ''activation function. Wikipedia]</ref>, которая '') определяет зависимость выходного сигнала нейронов от входного сигнала или набора входных сигналов.}},

У ступенчатых функций есть определенное количество ограничений, связанных с ее линейностью. Если функция активации является линейной, то независимо от количества складываемых скрытых слоев в нейронной сети, конечный результат по-прежнему будет являеться являться линейной комбинацией исходных входных данных. Эта линейность означает, что она не может реально охватить сложность нелинейных задач, таких как оператор XOR или различные паттерны, разделенные кривыми или кругами. Другой проблемой является то, что перцептрон с ступенчатой ​​функцией не очень «стабилен», то есть может перейти из состояния 0 в 1 и из 0 в 1 при небольших изменениях в любом из весов входного слоя.

'''Rectified Linear Unit''' {{---}} это наиболее часто используемая активационная функция при глубоком обучении. Данная функция возвращает 0, если принимает отрицательный вход, в случае же положительного входа, функция возвращает само число. Таким образом функция может быть записана как <math>f(x)=max(0,x)</math>.