Изменения

Перейти к: навигация, поиск

Практики реализации нейронных сетей

8 байт убрано, 15:46, 5 марта 2020
м
Нет описания правки
[[Файл:ReLuFunction.jpg|200px|thumb|right|Рис 7. Функция ReLU]]
===Функция ReLU===
Rectified Linear Unit {{---}} это наиболее часто используемая активационная функция активации при глубоком обучении. Данная функция возвращает 0, если принимает отрицательный аргумент, в случае же положительного аргумента, функция возвращает само число. То есть она может быть записана как <tex>f(z)=max(0, z)</tex>. На первый взгляд может показаться, что она линейна и имеет те же проблемы что и линейная функция, но это не так и ее можно использовать в нейронных сетях с множеством слоев.
Функция ReLU обладает несколькими преимущества перед сигмоидой и гиперболическим тангенсом:
# Очень быстро и просто считается производная. Для отрицательных значений {{---}} 0, для положительных {{---}} 1.
113
правок

Навигация