Изменения

Перейти к: навигация, поиск

Регуляризация

24 байта добавлено, 12:23, 21 января 2020
Логистическая регрессия
Для настройки вектора коэффициентов $\beta$ по обучающей выборке $X^l$ максимизируют логарифм правдоподобия:
:$L(\beta, X^l) = log_{2}\prod_{i=1}^lp(x_{i}, y_{i}) \rightarrow max_{w\beta}$:$L(\beta, X^l) = \sum_{i=1}^{l}log_{2}\sigma(\langle \beta, x_{i} \rangle y_{i}) + const(w) \rightarrow max_{w\beta}$
$L_{2}$-регуляризация:
:$L(\beta, X^l) = \sum_{i=1}^{l}log_{2}\sigma(\langle \beta, x_{i} \rangle y_{i}) - \lambda \| \beta \|^2 + const(w\beta) \rightarrow max_{w\beta}$
$L_{1}$-регуляризация:
:$L(\beta, X^l) = \sum_{i=1}^{l}log_{2}\sigma(\langle \beta, x_{i} \rangle y_{i}) - \lambda \|\beta \|_{1} + const(w\beta) \rightarrow max_{w\beta}$
Аналогично можно использовать и другие регуляризаторы.
193
правки

Навигация