Инициализация параметров глубокой сети

Инициализация — это процесс установки настраиваемых параметров для нашей глубокой сети. Выбор правильного метода инициализации важен для качества обучения нашей модели. Также это позволяет сократить время сходимости и минимизировать функцию потерь. Поэтому важно уметь выбрать правильный метод инициализации.

Наивная инициализация

Если задать все параметры нулевыми или константными значениями, это приведёт к тому, что наша сеть либо совсем не обучится, либо абсолютно все нейроны будут вести себя одинаково — совсем не то, что мы хотим получить. Глубокая сеть должна обучаться разным признакам.

Инициализация случайными числами

Рассмотрим линейное преобразование:

• $y=w^Tx+b=\sum(w_i x_i)+b=\sum(y_i)+b$

Его дисперсия (считаем настраиваемые параметры и входные данные независимыми):

• $\mathrm{Var}[y_i]=\mathrm{Var}[w_i x_i]=\mathbb{E}[x_i]^2\mathrm{Var}[w_i]+\mathbb{E}[w_i]^2\mathrm{Var}[x_i]+\mathrm{Var}[w_i]\mathrm{Var}[x_i]$ (см. дисперсия произведения)

Если отнормировать входные данные и подобрать параметры, чтобы среднее было нулевым, получится:

• $(\mathbb{E}[x_i]=0, \mathbb{E}[w_i]=0) \Rightarrow \mathrm{Var}[y_i]=\mathrm{Var}[w_i]\mathrm{Var}[x_i]$

Поскольку $x_i$ мы отнормировали, а $w_i$ из одного распределения, то все дисперсии одинаковые:

• $\mathrm{Var}[y]=\mathrm{Var}[\sum\limits_{i=1}^{n_{in}}[y_i]]=\sum\limits_{i=1}^{n_{in}}[w_i x_i]=n_{in} \mathrm{Var}[w_i]\mathrm{Var}[x_i]$

Отсюда видно, что дисперсия результата линейно зависит от дисперсии входных данных с коэффициентом $n_{in} \mathrm{Var}[w_i]$.

Если коэффициент будет $>1$ это приведет к увеличению дисперсии с каждым новым преобразованием, что может привести к ошибкам или насыщению функции активации, что негативно скажется на обучении сети.

Если коэффициент будет $<1$ это приведет к снижению дисперсии с каждым новым преобразованием с около нулевым промежуточным представлением, что тоже негативно скажется на обучении сети.

Поэтому для начальной инициализации параметров стоит использовать такое распределение, что $\mathrm{Var}[w_i]=\frac{1}{n_{in}}$, которое позволит сохранить дисперсию входных данных.

Метод инициализации Xavier

Предыдущий подход хорошо работает, когда размерность наших данных не изменяется после преобразований $(n_{in} = n_{out})$, но так бывает не всегда. В качестве компромисса Xavier Glorot и Yoshua Bengio предлагают инициализировать параметры из распределения с дисперсией $\mathrm{Var}[w_i]=\frac{2}{n_{in}+n_{out}}$.

Для равномерного распределения $\mathcal U$ это будет:

• $w_i \sim \mathcal U[-\frac{\sqrt{6}}{\sqrt{n_{in}+n_{out}}},\frac{\sqrt{6}}{\sqrt{n_{in}+n_{out}}}]$

Для нормального распределения $\mathcal N$ это будет:

• $w_i \sim \mathcal N(0,\frac{2}{n_{in}+n_{out}})$

Этот способ инициализации хорошо подойдет для симметричных относительно нуля функций активации (гиперболический тангенс, сигмоид), для ReLU данный способ не подходит.

Пример инициализации Xavier на языке Python с фреймворком PyTorch

   # инициализация параметров одного слоя
   conv1 = torch.nn.Conv2d(...)
   torch.nn.init.xavier_uniform(conv1.weight)

Пример инициализации Xavier на языке Python с библиотекой TensorFlow

   # инициализация параметров тензора 2x2
   initializer = tf.keras.initializers.GlorotUniform()
   values = initializer(shape=(2, 2))

Метод инициализации He

Поскольку ReLU несимметричная функция $f(x) = max(0, x)$, мы уже не можем утверждать, что среднее значение входных данных в каждом преобразовании будет нулевым:

• $(\mathbb{E}[x_i] \neq 0, \mathbb{E}[w_i]=0)$
  $\Rightarrow \mathrm{Var}[y_i]=\mathbb{E}[x_i]^2\mathrm{Var}[w_i] + \mathrm{Var}[w_i]\mathrm{Var}[x_i]=\mathrm{Var}[w_i](\mathbb{E}[x_i]^2 + \mathrm{Var}[x_i])=\mathrm{Var}[w_i]\mathbb{E}[x_i^2]$
  $\Rightarrow \mathrm{Var}[y]=n_{in}\mathrm{Var}[w_i]\mathbb{E}[x_i^2]$

Поэтому мы будем пытаться контролировать дисперсию не между слоями, а между входами ReLU. Пусть представление на входе было получено после применения данной функции активации к предыдущему представлению $y_{prev}$:

• $x=\mathrm{ReLU}(y_{prev})$

Давайте покажем, что $\mathbb{E}(y_{prev})=0$, так как $w_{prev_{i}}$ и $x_{prev_{i}}$ независимы:

• $\mathbb{E}[y_{prev_{i}}]=\mathbb{E}[w_{prev_{i}} x_{prev_{i}}]=\mathbb{E}[w_{prev_{i}}] \mathbb{E}[x_{prev_{i}}]=0$
  $\Rightarrow \mathbb{E}[y_{prev}]=\mathbb{E}[\sum\limits_{i=1}^{n_{in}}[y_{prev_{i}}]]=\sum\limits_{i=1}^{n_{in}}(\mathbb{E}[y_{prev_{i}}])=0$

Также $y_{prev_i}$ распределены симметрично относительно нуля:

• $\mathbb{P}(y_{prev_i}\gt 0)=\mathbb{P}(w_{prev_{i}} x_{prev_{i}}\gt 0)$
  $=\mathbb{P}((w_{prev_{i}}\gt 0 \wedge x_{prev_{i}}\gt 0) \vee ((w_{prev_{i}}\lt 0 \wedge x_{prev_{i}}\lt 0)))$
  $=\mathbb{P}(w_{prev_{i}}\gt 0)\mathbb{P}(x_{prev_{i}}\gt 0)+\mathbb{P}(w_{prev_{i}}\lt 0)\mathbb{P}(x_{prev_{i}}\lt 0)$
  $=\frac{1}{2}\mathbb{P}(x_{prev_{i}}\gt 0)+\frac{1}{2}\mathbb{P}(x_{prev_{i}}\lt 0)=\frac{1}{2}$

Из предыдущих двух выкладок следует:

• $\mathbb{E}[x_i^2]=\mathbb{E}[max(0, y_{prev})^2]=\frac{1}{2}\mathbb{E}[y_{prev}^2]=\frac{1}{2}\mathrm{Var}[ y_{prev}]$
  $\Rightarrow \mathrm{Var}[y]=\frac{1}{2}n_{in}\mathrm{Var}[w_i]\mathrm{Var}[y_{prev}]$

Получается, что при использовании ReLU, нужно инициализировать параметры из распределения с дисперсией $\mathrm{Var}[w_i]=\frac{2}{n_{in}}$.

Для равномерного распределения $\mathcal U$ это будет:

• $w_i \sim \mathcal U[-\sqrt{\frac{3}{n_{in}}},\sqrt{\frac{3}{n_{in}}}]$

Для нормального распределения $\mathcal N$ это будет:

• $w_i \sim \mathcal N(0,\frac{2}{n_{in}})$

Пример инициализации He на языке Python с фреймворком PyTorch

  # инициализация параметров одного слоя
  conv1 = torch.nn.Conv2d(...)
  torch.nn.init.kaiming_uniform_(conv1.weight)

Пример инициализации He на языке Python с библиотекой TensorFlow

  # инициализация параметров тензора 2x2
  initializer = tf.keras.initializers.HeUniform()
  values = initializer(shape=(2, 2))

См.также

• Настройка глубокой сети
• Глубокое обучение

Источники информации

1. Онлайн-учебник по машинному обучению от ШАД