Изменения

[http://neerc.ifmo.ru/wiki/index.php?title=%D0%93%D0%BB%D1%83%D0%B1%D0%BE%D0%BA%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5 [Глубокое обучение|Глубокая сеть]] состоит из нескольких слоев, где каждый слой организован таким образом, что каждый нейрон в одном слое получает свою копию всех выходных данных предыдущего слоя. Эта модель идеально подходит для определенных типов задач, например, обучение на ограниченном количество количестве более или менее неструктурированных параметров. Существует множество способов изменения параметров (весов) в такой модели, когда ей на вход поступают необработанные данные.

Принцип выбора начальных значений весов для слоев, составляющих модель очень важен: установка всех весов в 0 будет серьезным препятствием для обучения, так как ни один из весов изначально не будет активен. Присваивать весам значения из интервала ±1 <tex>[-1, 1]</tex> — тоже обычно не лучший вариант — на самом деле, иногда (в зависимости от задачи и сложности модели) от правильной инициализации модели может зависеть, достигнет она высочайшей производительности или вообще не будет сходиться. Даже если задача не предполагает такой крайности, удачно выбранный способ инициализации весов может значительно влиять на способность модели к обучению, так как он предустанавливает параметры модели с учетом функции потерь.<ref>[https://habr.com/company/wunderfund/blog/315476/Тонкая настройка нейронной сети, Habr]</ref>.

Всегда можно выбрать случайно начальное приближение, но лучше выбирать определённым образом, ниже приведены самые распространённые из них.:

* Метод инициализации Завьера (Xavier) (иногда — метод Glorot’а)<ref>[http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdfUnderstanding the difficulty of training deep feedforward neural networks]</ref>. Основная идея этого метода — упростить прохождение сигнала через слой во время как прямого, так и обратного распространения ошибки для линейной функции активации (этот метод также хорошо работает для сигмоидной функции, так как участок, где она ненасыщена, также имеет линейный характер). При вычислении весов этот метод опирается на вероятностное распределение (равномерное или нормальное) с дисперсией, равной <tex>\mathrm{Var}(W) = {2 \over{n_{in} + n_{out}}}</tex>, где <tex>n_{in}</tex> и <tex>n_{out}</tex> — количества нейронов в предыдущем и последующем слоях соответственно.;

* Метод инициализации Ге (He) — это вариация метода Завьера, больше подходящая функции активации ReLU, компенсирующая тот факт, что эта функция возвращает нуль для половины области определения. А именно, в этом случае <tex>\mathrm{Var}(W) = {2 \over{n_{in}}}</tex><ref>[https://arxiv.org/pdf/1502.01852.pdfDelving Deep into Rectifiers]</ref>.

[[Файл: Graph_comptree-def.png|800px450px|thumb|Рис.1. Граф вычислений для функции <tex>f(a,b)=(a+b)*(b+1)</tex>]]Граф вычислений — это ориентированный граф, узлы которого соответствуют операциям или переменным. Переменные могут передавать свое значение в операции, а операции могут передавать свои результаты в другие операции. Таким образом, каждый узел в графе определяет функцию переменных.

Значения, которые вводятся в узлы и выходят из узлов, называются тензорами (т.е. многомерными массивами). Forward pass — то есть мы последовательно передаем информацию от входных нейронов к выходнымНа рисунке 1 представлен граф вычислений для функции <tex>f(a,b)=(a+b)*(b+1)</tex>. После чего мы вычисляем ошибку В нейронах сетях функций имеют больше аргументов и основываясь на ней делаем обратную передачу, которая заключается в том, чтобы последовательно менять веса нейронной сети, начиная с весов выходного нейрона. Значение весов будут меняться в ту сторонусложнее, которая даст нам наилучший результатно смысл операций остаётся прежним.

[[Файл: Graph_compilationПроцесс передачи значений от входных нейронов к выходным называется прямым распространением (от англ.jpg|500px|thumb|РисForward pass).2. Граф вычислений для функции <tex>f(xПосле чего мы вычисляем ошибку обработанных сетью данных на выходном нейроне и,yосновываясь на её значении,z)=делаем обратную передачу ошибки (x+y[[Обратное распространение ошибки|Back propagation]])*z</tex>. Зелёные цифры — значения вычислений по ходу выполнения операций графа, красные — значения производной выходной функции по текущей переменной Обратное распространение ошибки заключается в точке <tex>(x_0=-2том, y_0=5чтобы последовательно менять веса нейронной сети, z_0=-4)</tex>]] начиная с весов выходного нейрона. Значения весов будут меняться в сторону уменьшения ошибки.

Преимуществом такого представления [[Файл: C_graph.png|400px|thumb|Рис.2. Граф вычислений для функции является простота вычисления производных. Используя следующие правила вычисления частных производных: <tex>q=x+y:\frac{\partial q}{\partial f(x}=1, \frac{\partial q}{\partial y}=1;</tex><tex>q=xy:\frac{\partial q}{\partial x}=y, \frac{\partial q}{\partial y}z)=(x;</tex><tex>\frac{\partial f}{\partial x}=\frac{\partial f}{\partial q}\frac{\partial q}{\partial +y})*z</tex>. Подсчёт производных Зелёные цифры — значения вычислений по графу вычислений производим от ходу выполнения операций графа, красные — значения производной выходной функции к значениям независимых переменных-входов#<tex>\frac{\partial f}{\partial f} = 1по текущей переменной в точке </tex>#<tex>\frac{\partial f}{\partial q} = z_0 (x_0= -4</tex>2, <tex>\frac{\partial f}{\partial z} = q_0 = 3</tex>#<tex>\frac{\partial f}{\partial x} y_0= \frac{\partial f}{\partial q}\frac{\partial q}{\partial x} = -4</tex>5, <tex>\frac{\partial f}{\partial y} = \frac{\partial f}{\partial q}\frac{\partial q}{\partial y} z_0= -4)</tex>]]

 Преимуществом такого представления функции является простота вычисления производных. Используя следующие правила вычисления частных производных: *<tex>q=x+y:\frac{\partial q}{\partial x}=1, \frac{\partial q}{\partial y}=1;</tex>;*<tex>q=xy:\frac{\partial q}{\partial x}=y, \frac{\partial q}{\partial y}=x;</tex>;*<tex>\frac{\partial f}{\partial y}=\frac{\partial f}{\partial q}\frac{\partial q}{\partial y}</tex>.  Рассмотрим граф вычислений на рисунке 2 с поданными на вход значениями <tex>(x_0=-2, y_0=5, z_0=-4)</tex>. Подсчёт производных по графу вычислений производим от значения функции к значениям независимых переменных-входов. * <tex>\frac{\partial f}{\partial f} = 1</tex>;* <tex>\frac{\partial f}{\partial q} = z_0 = -4</tex>, <tex>\frac{\partial f}{\partial z} = q_0 = 3</tex>;* <tex>\frac{\partial f}{\partial x} = \frac{\partial f}{\partial q}\frac{\partial q}{\partial x} = -4</tex>, <tex>\frac{\partial f}{\partial y} = \frac{\partial f}{\partial q}\frac{\partial q}{\partial y} = -4</tex>.  Граф вычислений является частью нейронной сети, у которой <tex>x_{n_{in}}</tex> {{---}} входные значения, <tex>y_{n_{out}}</tex> {{---}} выходные с сети значения, <tex>w</tex> {{---}} матрица весов, приводящая значения предыдущего слоя к выходным значениям. Зная производные, можно искать параметры матрицы весов <tex>w</tex> (числа, на которые умножаются входные для этого слоя значения) с помощью [[Настройка глубокой сети#Способы настройки параметров|градиентного спуска ]] сдвигаемся

(при минимизации) <tex>w:^{(k+1)}=w^{(k)}-\eta\nabla_w ffrac{\partial L(w^{(k)})}{\partial w^{(k)}}</tex>, где <tex>L</tex>— функция потерь, а <tex>w^{(k)}</tex> — веса после <tex>k</tex>-ой итерации, или его модификаций <ref>[http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%B3%D1%80%D0%B0%D0%B4%D0%B8%D0%B5%D0%BD%D1%82%D0%BD%D0%BE%D0%B3%D0%BE_%D1%81%D0%BF%D1%83%D1%81%D0%BA%D0%B0Метод градиентного спуска]</ref>.

Ниже представлены различные вариации градиентного спуска, более подробное сравнение* Метод Нестерова (англ. Nesterov accelerated gradient, применительно к данной задаче NAG)<ref>[https://habrjlmelville.comgithub.io/postmize/318970nesterov.html#nag Nesterov accelerated gradient]</].ref> добавляет к методу Momentum идею "заглядывания вперёд", используя производную не в текущей точке, а в следующей (если бы мы продолжали двигаться в этом же направлении без измений): <tex> w^{(k+1)} = w^{(k)}-v^{(k)}; v^{(k+1)}=\gamma v^{(k)}+\mu\frac{\partial L(w^{(k)}-v^{(k)})}{\partial w}</tex>;

* Momentum Adagrad имеет преимущество в плане обучения нейронных сетей в предположении, что процесс обучения должен сходится (т.е. не нужно сильно менять веса сети, когда мы уже немного научились). В процессе обучения после каждого прецендента алгоритм будет уменьшать шаг за счёт суммы квадратов координат градиента предыдущих итераций<ref>[httpshttp://enakyrillidis.wikipediagithub.orgio/wikinotes/Stochastic_gradient_descent#MomentumAdaGrad AdaGrad]</ref>: <tex> g_i^{(k)}=\frac{\Delta w:partial L(w_i^{(k)})}{\partial w_i^{(k)}}, w_i^{(k+1)}=w_i^{(k)}-\alpha frac{\Delta w-mu}{\eta sqrt{G^{(k)}_{i,i}+\nabla Q_epsilon}}g_{i}^{(wk)}</tex>, где <tex> w:=w+\Delta wG</tex> или — диагональная матрица, элементы которой, суммы квадратов координат градиента к <tex>k</tex> w-ой итерации алгоритма:<tex>G_{i,i}^{(k)} =w-\eta \nabla Q_sum_{it=0}^k (g_i^{(wt)})+\alpha \Delta w^2</tex>;

*Adagrad RMSProp<ref>[httphttps://akyrillidis.githubtowardsdatascience.iocom/notesa-look-at-gradient-descent-and-rmsprop-optimizers-f77d483ef08b RMSProp]</AdaGrad]: ref> основан на идее Adagrad'a, но с учётом того элементы матрицы <tex>G</tex> могут быть большими величинами и начать препятствовать обучению. Для этого RMSProp делит шаг не на полную сумму градиентов, а на скользящую, т.е. <tex>g_E_i^{i,(k)}=\fracgamma E_i^{(k-1)}+(1-\partial Lgamma)(w_ig_{i}^{(k)})}{\partial w_i}^2</tex>, обновление весов осталось таким же как в Adagrad : <tex> w_i^{(k+1)}=w_i^{(k)}-\frac{\mu}{\sqrt{GE_i^{(k)}_i,i+\epsilon}}g_{i,}^{(k)}</tex>, где G - диагональная матрица, элементы которой, суммы квадратов координат градиента к k-ой итерации алгоритма;

*Adam<ref>[https://arxiv.org/pdf/1412.6980.pdfAdam]</ref> сочетает в себе преимущества NAG и Adadelta над обычным градиентным спуском: <tex> w^{(k+1)}_i = w_i^{(k)}-\frac{\mu}{\sqrt{\hat{b}^2_{(k)}+\epsilon}}\hat{m}_{(k)}</tex>, где <tex>\hat{m}_{(k)}=\frac{\gamma_1 E^{(k-1)}[g_i]+(1-\gamma_1)g_{i,(k)}}{1-\gamma_1^k}</tex> и <tex>\hat{b}^2_{(k)}= \frac{\gamma_2 E^{(k-1)}[g^2_i]+(1-\gamma_2)g:2_{i,(k)}}{1-\gamma_2^k}</tex>.

* [[Стохастический градиентный спуск]]^{* [на 21.01.19 не создан[Обратное распространение ошибки]]}

# https://habr.com/company/wunderfund/blog/315476/# http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf# https://arxiv.org/pdf/1502.01852.pdf# https://habr.com/post/318970/# [http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5B0%D1%8288%D0%BEB8%D0%B4_BD%D1D0%81BD%D1D0%82BE%D0%BEB5_%D1D0%85BE%D0%B0B1%D1%8183%D1%8287%D0%B5%D0%BD%D0%B8%D0%B5_%28%D0%BA%D1%8783%D0D1%B580%D1%8181_%D0%BABB%D0%BEB5%D0%B3BA%D1%86%D0%BE_B8%D0%B3B9%D12C_%D0%809A.%D0%B092.%D0%B492%D0%B8BE%D1%80%D0%B5BE%D0%BD%D1%8286%D0%B0# https://enBE%D0%B2%29 Курс лекций по машинному обучению] {{---}} Воронцов К.wikipediaВ.org/wiki/Stochastic_gradient_descent#Momentum# https://jlmelvilleRiedmiller, M.github, & Braun, H.io/mize/nesterov(1993).html#nag# httpA direct adaptive method for faster backpropagation learning://akyrillidisThe RPROP algorithm.githubIn Neural Networks, 1993.io/notes/AdaGrad# https://towardsdatascience, IEEE International Conference on (pp.com/a-look-at-gradient-descent586-and-rmsprop-optimizers-f77d483ef08b# https://arxiv591).org/abs/1212IEEE.5701# https://arxiv.org/pdf/1412.6980.pdf