193
правки
Изменения
→Стохастический градиентный спуск
==Регуляризация в алгоритмах==
===Стохастический градиентный Гррадиентный спуск===Алгоритм [[Стохастический градиентный спуск | стохастического градиентного спуска]] используют для нахождения аппроксимирующей зависимости, находя вектор весов <tex>w \in R^n</tex>, при котором достигается минимум эмпирического риска:
:<tex>Q(w, X^l)=sum_{i=1}^l\mathcal{L}(y_{i}, \langle w, x_{i} \rangle) \rightarrow min_{w}</tex>
<tex>Q'(w)=(\frac{\partial Q^(w)}{\partial w_{j}})_{j=1}^n</tex>:
:<tex>w := w - \eta Q'(w)</tex>,
где <tex>\eta > 0 </tex> - величина шага в направлении антиградиента. Регуляризация - одна из эвристик улучшения градиентных методов обучения. Основным способом уменьшить переобучение является квадратичная регуляризация, называемая также ''сокращением весов''. Чтобы ограничить рост абсолютных значений весов, к минимизируемому функционалу <tex>Q(w)</tex> добавляется штрафное слагаемое::<tex>Q_{\tau}(w) = Q(w) + \frac{\tau}{2}\|w\|^2</tex>Это приводит к появлению аддитивной поправки в градиенте::<tex>Q′τ (w) = Q′(w) + \tau</tex> В результате правило обновления весов принимает вид::<tex>w := w(1 - \eta \tau) - \eta Q'(w)</tex>,
===Метод опорных векторов===
