50
правок
Изменения
м
fix 4
Этот способ инициализации хорошо подойдет для симметричных относительно нуля функций активации (гиперболический тангенс, сигмоид), для ReLU<ref>[https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLU, Wikipedia]</ref> данный способ не подходит.
====Пример инициализации Xavier на языке Python с библиотекой фреймворком PyTorch====
<font color=darkgreen># инициализация параметров одного слоя</font>
*<tex>w_i \sim \mathcal N(0,\frac{2}{n_{in}})</tex>
====Пример инициализации He на языке Python с библиотекой фреймворком PyTorch====
<font color=darkgreen># инициализация параметров одного слоя</font>
