193
правки
Изменения
→Логистическая регрессия
==Другие использования регуляризации==
===Логистическая регрессия===
Как было показано в мотивационном примере, [[Логистическая регрессия | логистическую регрессия]] для логистической регрессии полезно использовать регуляризацию.
Для настройки вектора коэффициентов $\beta$ по обучающей выборке $X^l$ максимизируют логарифм правдоподобия:
:$L(\beta, X^l) = log_{2}\prod_{i=1}^lp(x_{i}, y_{i}) \rightarrow max_{w}$
:$L(\beta, X^l) = \sum_{i=1}^{l}log_{2}\sigma(\langle \beta, x_{i} \rangle y_{i}) + const(w) \rightarrow max_{w}$
$L_{2}$-регуляризация:
:$L(\beta, X^l) = \sum_{i=1}^{l}log_{2}\sigma(\langle \beta, x_{i} \rangle y_{i}) - \lambda \| \beta \|^2 + const(w) \rightarrow max_{w}$
$L_{1}$-регуляризация:
:$L(\beta, X^l) = \sum_{i=1}^{l}log_{2}\sigma(\langle \beta, x_{i} \rangle y_{i}) - \lambda \|\beta \|_{1} + const(w) \rightarrow max_{w}$
===Нейронные сети===
