113
правок
Изменения
Binary step function
{{Определение
|definition= '''Функция активации''' (англ. ''activation function'') определяет выходной сигнал нейрона в зависимости от результата взвешенной суммы входов и порогового значения.}}
Рассмотрим нейрон Z с выходным значением <mathtex>Z = \sum\limits_{i} w_{i}x_{i} + bias</mathtex>, где <tex>w_{i}</tex> и <tex>x_{i}</tex> {{---}} вес и входное значение <tex>i</tex>-ого входа, а <tex>bias</tex> {{---}} смещение. Полученный результат передается в функцию активации, которая решает рассматривать этот нейрон как активированный, или его можно игнорировать.
[[Файл:BinaryStepFunction.png|300px|thumb|right|Рис 1. Binary step function]]
===Ступенчатая функция===
Ступенчатая функция (англ. ''binary step function'') является пороговой функцией активации.
То есть если <tex>Z</tex> больше или меньше некоторого значения, то нейрон становится активированным. Такая функция отлично работает для бинарной классификации.
Но она не работает, когда для классификации требуется большее число нейронов и количество возможных классов больше двух.
===Линейная функция===
Для того, чтобы избежать данных проблем, в нейронных сетях используется сигмоидная функция в качестве активационной. Также ее еще называют логистической.
[[Файл:sigmoid_function.png|border|500px|thumb|center|Рис 13. Sigmoid Functionfunction]]
Sigmoid функция, в отличие от ступенчатой функции, вводит нелинейность в выбранную модель нейронной сети. Нелинейность означает, что выход, получаемый из нейрона произведением некоторых входов <math>x (x_1, x_2, ..., x_m)</math> и весов <math>w (w_1, w_2, ..., w_m)</math> плюс смещение, преобразованный сигмоидной функцией, не может быть представлен линейной комбинацией его входных сигналов.
