193
правки
Изменения
→Стохастический градиентный спуск
==Регуляризация в алгоритмах==
===Стохастический градиентный спуск===
Алгоритм [[Стохастический градиентный спуск | стохастического градиентного спуска]] используют для нахождения аппроксимирующей зависимости, находя вектор весов <tex>w \in R^n</tex>, при котором достигается минимум эмпирического риска:
:<tex>Q(w, X^l)=sum_{i=1}^l\mathcal{L}(y_{i}, \langle w, x_{i} \rangle) \rightarrow min_{w}</tex>
В этом методевыбирается некоторое начальное приближение для вектора весов <tex>w</tex>, затем запускается итерационный процесс, на каждом шаге которого вектор w изменяется в направлении наиболее быстрого убывания функционала Q - противоположно вектору градиента
<tex>Q'(w)=(\frac{\partial Q^(w)}{\partial w_{j}})_{j=1}^n</tex>:
:<tex>w := w - \eta Q'(w)</tex>,
где \eta > 0 - величина шага в направлении антиградиента.
===Метод опорных векторов===
