Изменения

Его Примем значение вектора смещения $b$ нулевым, тогда дисперсия линейного преобразования (считаем настраиваемые параметры и входные данные независимыми):

Если отнормировать входные данные и Так как мы сами выбираем параметры распределения, то мы их можем подобрать параметрытак, чтобы $\mathbb{E}[w_i]=0$ (для всех слоев). Также можно добиться того, чтобы среднее было нулевымдля первого слоя $\mathbb{E}[x_i]=0$, если данные будут центрироваться в ходе нормализации, получитсятогда:

*<tex>\mathrm{Var}[y]=\mathrm{Var}[\sum\limits_{i=1}^{n_{in}}[y_i]]=\sum\limits_{i=1}^{n_{in}}\mathrm{Var}[w_i x_i]=n_{in} \mathrm{Var}[w_i]\mathrm{Var}[x_i]</tex>Отсюда видно, что дисперсия результата линейно зависит от дисперсии входных данных с коэффициентом $n_{in} \mathrm{Var}[w_i]$, поэтому если инициализировать параметры так, что $\mathrm{Var}[w_i]=\frac{1}{n_{in}}$, то наша дисперсия будет равна $\mathrm{Var}[x_i]$.

*Если коэффициент будет $>1$ это приведет к увеличению дисперсии с каждым новым преобразованием, что может привести к ошибкам или насыщению функции активации, что негативно скажется на обучении сети.

*Если коэффициент будет $<1$ это приведет к снижению дисперсии с каждым новым преобразованием с около нулевым промежуточным представлением, что тоже негативно скажется на обучении сети.

Если бы мы не использовали между слоями функцию активации, то дисперсия на последнем слое совпадала бы с дисперсией при инициализации входных данных, но использовать глубокую сеть без функции активации не имеет смысла, потому что она добавляет нелинейность нашей модели, чтобы выявлять более сложные закономерности. Поэтому, если мы будем использовать симметричную функцию активации, дисперсия на первом слое и на последнем все еще будет отличаться, но коэффициент $n_{in} \mathrm{Var}[w_i]$ уже не будет вносить вклад в дисперсию. Поэтому для начальной инициализации параметров стоит использовать такое распределение, что $\mathrm{Var}[w_i]=\frac{1}{n_{in}}$, которое позволит сохранить дисперсию входных данныхконтролировать изменение дисперсии.

Этот способ инициализации хорошо подойдет для симметричных относительно нуля функций активации (например гиперболический тангенс, сигмоид), для ReLU<ref>[https://en.wikipedia.org/wiki/Rectifier_(neural_networks) ReLU, Wikipedia]</ref> данный способ не подходит. ====Пример инициализации Xavier на языке Python с фреймворком PyTorch====  <font color=darkgreen># инициализация параметров одного слоя</font> conv1 = torch.nn.Conv2d(...) torch.nn.init.xavier_uniform(conv1.weight)

====Пример инициализации Xavier на языке Pythonс библиотекой TensorFlow====

<font color=darkgreen># example of the normalized xavier weight initializationинициализация параметров тензора 2x2</font> from math import sqrt from numpy import mean from numpyinitializer = tf.random import rand <font color=darkgreen># number of nodes in the previous layer</font> n = 10 <font color=darkgreen># number of nodes in the next layer</font> m = 20 <font color=darkgreen># calculate the range for the weights</font> lower, upper = -(sqrt(6keras.0) / sqrt(n + m)), (sqrt(6initializers.0) / sqrtGlorotUniform(n + m)) <font colorvalues =darkgreen># generate random numbers</font> numbers initializer(shape= rand(10002, 2) <font color=darkgreen># scale to the desired range</font> scaled = lower + numbers * (upper - lower)

Тогда с учётом поведения ReLU и того, что $\mathrmmathbb{E}([y_{prev})]=0$, можно сказать, чтотак как $w_{prev_{i}}$ и $x_{prev_{i}}$ независимы. Доказательство было в главе про инициализацию случайными числами. Также $y_{prev_i}$ распределены симметрично относительно нуля:*<tex>\mathbb{P}(y_{prev_i}>0)=\mathbb{P}(w_{prev_{i}} x_{prev_{i}}>0)</tex><br><tex>=\mathbb{P}((w_{prev_{i}}>0 \wedge x_{prev_{i}}>0) \vee ((w_{prev_{i}}<0 \wedge x_{prev_{i}}<0)))</tex><br><tex>=\mathbb{P}(w_{prev_{i}}>0)\mathbb{P}(x_{prev_{i}}>0)+\mathbb{P}(w_{prev_{i}}<0)\mathbb{P}(x_{prev_{i}}<0)</tex><br><tex>=\frac{1}{2}\mathbb{P}(x_{prev_{i}}>0)+\frac{1}{2}\mathbb{P}(x_{prev_{i}}<0)=\frac{1}{2}</tex>Из предыдущих двух выкладок следует:*<tex>\mathbb{E}[x_i^2]=\mathbb{E}[max(0, y_{prev})^2]=\frac{1}{2}\mathbb{E}[y_{prev}^2]=\frac{1}{2}\mathrm{Var}[

====Пример инициализации He на языке Pythonс фреймворком PyTorch====  <font color=darkgreen># инициализация параметров одного слоя</font> conv1 = torch.nn.Conv2d(...) torch.nn.init.kaiming_uniform_(conv1.weight)

<font color=darkgreen># example of the he weight initialization</font> from math import sqrt from numpy.random import randn <font color=darkgreen># number of nodes in the previous layer</font> n = 10 <font color=darkgreen># calculate the range for the weights</font> std Пример инициализации He на языке Python с библиотекой TensorFlow= sqrt(2.0 / n) <font color=darkgreen># generate random numbers</font> numbers = randn(1000) <font color=darkgreen># scale to the desired range</font> scaled = numbers * std