26
правок
Изменения
Нет описания правки
== Инициализация сети ==
*Adam[https://arxiv.org/pdf/1412.6980.pdf]: <tex> w^{(k+1)}_i = w_i^{(k)}-\frac{\mu}{\sqrt{\hat{b}^2_{(k)}+\epsilon}}\hat{m}_{(k)}</tex>, где <tex>\hat{m}_{(k)}=\frac{\gamma_1 E^{(k-1)}[g_i]+(1-\gamma_1)g_{i,(k)}}{1-\gamma_1^k}</tex> и <tex>\hat{b}^2_{(k)}= \frac{\gamma_2 E^{(k-1)}[g^2_i]+(1-\gamma_2)g:2_{i,(k)}}{1-\gamma_2^k}</tex>.
==См.также==
* [[Глубокое обучение]]
* [[Стохастический градиентный спуск]]<sup>[на 21.01.19 не создан]</sup>
==Примечания==
<references/>
==Источники информации==
# https://habr.com/company/wunderfund/blog/315476/
# http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf
# https://arxiv.org/pdf/1502.01852.pdf
# https://habr.com/post/318970/
# http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D1%81%D1%82%D0%BE%D1%85%D0%B0%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%B3%D1%80%D0%B0%D0%B4%D0%B8%D0%B5%D0%BD%D1%82%D0%B0
# https://en.wikipedia.org/wiki/Stochastic_gradient_descent#Momentum
# https://jlmelville.github.io/mize/nesterov.html#nag
# http://akyrillidis.github.io/notes/AdaGrad
# https://towardsdatascience.com/a-look-at-gradient-descent-and-rmsprop-optimizers-f77d483ef08b
# https://arxiv.org/abs/1212.5701
# https://arxiv.org/pdf/1412.6980.pdf
[[Категория: Машинное обучение]]
[[Категория: Глубокое обучение]]
