Изменения

Перейти к: навигация, поиск

Настройка глубокой сети

1707 байт добавлено, 17:53, 21 января 2019
Нет описания правки
Как и многие алгоритмы машинного обучения, [http://neerc.ifmo.ru/wiki/index.php?title=%D0%93%D0%BB%D1%83%D0%B1%D0%BE%D0%BA%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5 глубокие сетиГлубокая сеть] имеют состоит из нескольких слоев, где каждый слой организован таким образом, что каждый нейрон в одном слое получает свою копию всех выходных данных предыдущего слоя. Эта модель идеально подходит для определенных типов задач, например, обучение на ограниченном количество более или менее неструктурированных параметров. Существует множество гиперпараметровспособов изменения параметров (весов) в такой модели, которые должны быть заданы до начала обучениякогда ей на вход поступают необработанные данные.
== Инициализация сети ==
*Adam[https://arxiv.org/pdf/1412.6980.pdf]: <tex> w^{(k+1)}_i = w_i^{(k)}-\frac{\mu}{\sqrt{\hat{b}^2_{(k)}+\epsilon}}\hat{m}_{(k)}</tex>, где <tex>\hat{m}_{(k)}=\frac{\gamma_1 E^{(k-1)}[g_i]+(1-\gamma_1)g_{i,(k)}}{1-\gamma_1^k}</tex> и <tex>\hat{b}^2_{(k)}= \frac{\gamma_2 E^{(k-1)}[g^2_i]+(1-\gamma_2)g:2_{i,(k)}}{1-\gamma_2^k}</tex>.
 
==См.также==
* [[Глубокое обучение]]
* [[Стохастический градиентный спуск]]<sup>[на 21.01.19 не создан]</sup>
 
==Примечания==
<references/>
==Источники информации==
# https://habr.com/company/wunderfund/blog/315476/
# http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf
# https://arxiv.org/pdf/1502.01852.pdf
# https://habr.com/post/318970/
# http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D1%81%D1%82%D0%BE%D1%85%D0%B0%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%B3%D1%80%D0%B0%D0%B4%D0%B8%D0%B5%D0%BD%D1%82%D0%B0
# https://en.wikipedia.org/wiki/Stochastic_gradient_descent#Momentum
# https://jlmelville.github.io/mize/nesterov.html#nag
# http://akyrillidis.github.io/notes/AdaGrad
# https://towardsdatascience.com/a-look-at-gradient-descent-and-rmsprop-optimizers-f77d483ef08b
# https://arxiv.org/abs/1212.5701
# https://arxiv.org/pdf/1412.6980.pdf
 
[[Категория: Машинное обучение]]
[[Категория: Глубокое обучение]]
26
правок

Навигация