Изменения

|definition= '''Функция активации''' (англ. ''activation function'') определяет зависимость выходного сигнала нейронов выходной сигнал нейрона в зависимости от входного сигнала или набора входных сигналов.}}Рассмотрим нейрон Z с выходным значением <math>Z = \sum\limits_{i} w_{i}x_{i} + bias</math>, где <tex>w_{i}</tex> и <tex>x_{i}</tex> {{---}} вес и входное значение <tex>i</tex>-ого входа, а <tex>bias</tex> {{---}} смещение. Полученный результат передается в функцию активации, которая решает рассматривать этот нейрон как активированный, или его можно игнорировать.Ниже представлены распространенные функции активации.

Ниже представлены распространенные функции активации.=== Binary function === === Linear function ===

=== Sigmoid / Logistic function ===У ступенчатых функций есть определенное количество ограничений, связанных с ее линейностью. Если функция активации является линейной, то независимо от количества складываемых скрытых слоев в нейронной сети, конечный результат по-прежнему будет являться линейной комбинацией исходных входных данных. Эта линейность означает, что она не может реально охватить сложность нелинейных задач, таких как оператор XOR или различные паттерны, разделенные кривыми или кругами. Другой проблемой является то, что перцептрон с со ступенчатой ​​функцией не очень «стабилен», то есть может перейти из состояния 0 в 1 и из 0 в 1 при небольших изменениях в любом из весов входного слоя.

Для того, чтобы избежать данных проблем, в нейронных сетях используется sigmoid сигмоидная функция в качестве активационной. Также ее еще называют логистической.

Функция sigmoidSigmoid функция, в отличие от ступенчатой ​​функции, вводит нелинейность в выбранную модель нейронной сети. Нелинейность означает, что выход, получаемый из нейрона произведением некоторых входов <math>x (x_1, x_2, ..., x_m)</math> и весов <math>w (w_1, w_2, ..., w_m)</math> плюс смещение, преобразованный sigmoid сигмоидной функцией, не может быть представлен ​​линейной комбинацией входов <math>x (x_1, x_2, ..., x_m)</math>его входных сигналов.

=== Tanh TanH function ===