101
правка
Изменения
Нет описания правки
# Сложнее считать производную, по сравнению со стандартным подходом (так как значения уже не равны нулю), что замедляет работу каждой эпохи.
# Угловой коэффициент прямой также является гиперпараметром, который надо настраивать
# На практике, результат не всегда сильно улучшаетсяотносительно ReLU
Довольно часто используется PReLU (Parametric ReLU), который позволяет добиться более значительных улучшений по сравнению с ReLU и LReLU.
