50
правок
Изменения
равномерное распределение для He
Получается, что при использовании ReLU, нужно инициализировать параметры из распределения с дисперсией $\mathrm{Var}[w_i]=\frac{2}{n_{in}}$.
Для равномерного распределения $\mathcal U$ это будет:
*<tex>w_i \sim \mathcal U[-\sqrt{\frac{3}{n_{in}}},\sqrt{\frac{3}{n_{in}}}]</tex>
Для нормального распределения $\mathcal N$ это будет:
*<tex>w_i \sim \mathcal N(0,\frac{2}{n_{in}})</tex>
