Изменения

Перейти к: навигация, поиск

Стохастический градиентный спуск

2 байта добавлено, 30 январь
Нет описания правки
== Эвристики ==
Существует несколько способов инициализировать веса:
* ${\bf w} = {\bf 0}$;* $w_j = random(-\dfrac{1}{2n}, \dfrac{1}{2n})$. Стоит брать небольшие случайные веса, так как если выбрать их слишком большими, в некоторых случаях (к примеру в случае нейрона с [[Нейронные_сети,_перцептрон|функцией активациии]] равной арктангенсу) большие начальные значения веса могут привести в область с малыми по модулю производными, в связи с чем из такой области будет трудно выбраться.;* $w_j = \dfrac{\langle y, f_j \rangle}{\langle f_j, f_j \rangle}$, где $f_j = (f_j(x_i))_{i=1}^l$. Оценка оптимальная в случае, если функция потерь квадратична и признаки нескоррелированы, то есть $\langle f_j, f_k \rangle = 0, j \neq k$.
Так же можно запустить спуск несколько раз с разными начальными приближениями и выбрать лучшее решение.
77
правок

Навигация