101
правка
Изменения
Точки добавлены
Однако, функция Leaky ReLU имеет некоторые недостатки:
# Сложнее считать производную, по сравнению со стандартным подходом (так как значения уже не равны нулю), что замедляет работу каждой эпохи.
# Угловой коэффициент прямой также является гиперпараметром, который надо настраивать.# На практике, результат не всегда сильно улучшается относительно ReLU.
Довольно часто используется PReLU (Parametric ReLU), который позволяет добиться более значительных улучшений по сравнению с ReLU и LReLU.
