Изменения

Перейти к: навигация, поиск

Вариации регрессии

82 байта убрано, 19:20, 23 февраля 2019
м
Описание
Находим вектор <tex>\beta^*</tex>, при котором достигается минимум среднего квадрата ошибки:
<center>:<tex>Q(\beta) = ||F \beta - y||^2</tex></center>
 <center>:<tex>\beta^*=\arg \min\limits_\beta Q(\beta)</tex></center>
Методом наименьших квадратов находим решение:
<center>:<tex>\beta^* = (F^T F)^{-1} F^T y</tex></center>
В условиях мультиколлинеарности матрица <tex>F^T F</tex> становится плохо обусловленной.
Функционал <tex>Q</tex> с учетом ограничения принимает вид:
<center>:<tex>Q_{\lambda}(\beta) = ||F \beta - y||^2 + \lambda ||\beta||^2</tex>,</center>
где <tex>\lambda</tex> {{---}} неотрицательный параметр.
Решением в этом случае будет
<center>:<tex>\beta^* = (F^T F + \lambda I_n)^{-1} F^T y</tex></center>
Это изменение увеличивает собственные значения матрицы <tex>F^T F</tex>, но не изменяет ее собственные вектора. В результате имеем хорошо обусловленную матрицу.
276
правок

Навигация