50
правок
Изменения
правки заголовков
Этот способ инициализации хорошо подойдет для симметричных относительно нуля функций активации (гиперболический тангенс, сигмоид), для ReLU<ref>[https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLU, Wikipedia]</ref> данный способ не подходит.
====Пример инициализации Xavier на языке Python с библиотекой NumPy====
<font color=darkgreen># example of the normalized xavier weight initialization</font>
*<tex>w_i \sim \mathcal N(0,\frac{2}{n_{in}})</tex>
====Пример инициализации He на языке Python с библиотекой NumPy====
<font color=darkgreen># example of the he weight initialization</font>
