Изменения

Перейти к: навигация, поиск

Регуляризация

976 байт добавлено, 07:08, 20 января 2020
L_{1}-регуляризация
Запишем задачу настройки вектора параметров <tex>\beta</tex>:
:<tex>Q(\beta) = \sum_{i=1}^l\mathcal{L}_{Ii}(\beta) + \lambda \sum _{j=1}^n{|\beta_{j}|}</tex>,где \mathcal{L}_{i}(\beta) = \mathcal{L}(y_{i}, g(x_{i}, \beta)) - некоторая ограниченная гладкая функция потерь. Сделаем замену переменных, чтобы функционал стал гладким. Каждой переменной <tex>\beta_{j}</tex> поставим в соответствие две новые неотрицательные переменные::<tex>u_{j}=\frac{1}{2}(|\beta_{j}| + \beta_{j})</tex>:<tex>v_{j}=\frac{1}{2}(|\beta_{j}| - \beta_{j})</tex>Тогда::<tex>\beta_{j} = u_{j} + v_{j}</tex>:<tex>|\beta_{j}| = u_{j} + v_{j}</tex>В новых переменных функционал становится гладким, но добавляется ограничения-неравенства::<tex>Q(u, v) = \sum_{i=1}^l\mathcal{L}_{I}(u - v) + \lambda \sum_{j=1}^n(u_{j} + v_{j}) \rightarrow min_{u,v}</tex>:<tex>u_{j} \geq 0, v_{j} \geq 0, j = 1,...,n</tex>
===Эластичная сеть===
193
правки

Навигация