50
правок
Изменения
м
инициализация Xavier x2
Для равномерного распределения $U$ это будет:
*<tex>w_i \sim U[-\frac{\sqrt{6}}{\sqrt{n_{in}+n_{out}}},\frac{\sqrt{6}}{\sqrt{n_{in}+n_{out}}}]</tex>
Для нормального распределения $N$ это будет:
*<tex>w_i \sim N(0,\frac{2}{n_{in}+n_{out}})</tex>
Этот способ инициализации хорошо подойдет для симметричных относительно нуля функций активации (гиперболический тангенс, сигмоид), для ReLU<ref>[https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLU, Wikipedia]</ref> данный способ не подходит.
