Редактирование: Вариации регрессии

Перейти к: навигация, поиск

Внимание! Вы не авторизовались на сайте. Ваш IP-адрес будет публично видимым, если вы будете вносить любые правки. Если вы войдёте или создадите учётную запись, правки вместо этого будут связаны с вашим именем пользователя, а также у вас появятся другие преимущества.

Правка может быть отменена. Пожалуйста, просмотрите сравнение версий, чтобы убедиться, что это именно те изменения, которые вас интересуют, и нажмите «Записать страницу», чтобы изменения вступили в силу.
Текущая версия Ваш текст
Строка 33: Строка 33:
  
 
Находим вектор <tex>\beta^*</tex>, при котором достигается минимум среднего квадрата ошибки:
 
Находим вектор <tex>\beta^*</tex>, при котором достигается минимум среднего квадрата ошибки:
:<tex>Q(\beta) = ||F \beta - y||^2</tex>
+
<center><tex>Q(\beta) = ||F \beta - y||^2</tex></center>
  
:<tex>\beta^*=\arg \min\limits_\beta Q(\beta)</tex>
+
 
 +
<center><tex>\beta^*=\arg \min\limits_\beta Q(\beta)</tex></center>
  
 
Методом наименьших квадратов находим решение:
 
Методом наименьших квадратов находим решение:
:<tex>\beta^* = (F^T F)^{-1} F^T y</tex>
+
<center><tex>\beta^* = (F^T F)^{-1} F^T y</tex></center>
  
 
В условиях мультиколлинеарности матрица <tex>F^T F</tex> становится плохо обусловленной.
 
В условиях мультиколлинеарности матрица <tex>F^T F</tex> становится плохо обусловленной.
Строка 45: Строка 46:
  
 
Функционал <tex>Q</tex> с учетом ограничения принимает вид:
 
Функционал <tex>Q</tex> с учетом ограничения принимает вид:
:<tex>Q_{\lambda}(\beta) = ||F \beta - y||^2 + \lambda ||\beta||^2</tex>,
+
<center><tex>Q_{\lambda}(\beta) = ||F \beta - y||^2 + \lambda ||\beta||^2</tex>,</center>
 
где <tex>\lambda</tex> {{---}} неотрицательный параметр.
 
где <tex>\lambda</tex> {{---}} неотрицательный параметр.
  
 
Решением в этом случае будет
 
Решением в этом случае будет
:<tex>\beta^* = (F^T F + \lambda I_n)^{-1} F^T y</tex>
+
<center><tex>\beta^* = (F^T F + \lambda I_n)^{-1} F^T y</tex></center>
  
 
Это изменение увеличивает собственные значения матрицы <tex>F^T F</tex>, но не изменяет ее собственные вектора. В результате имеем хорошо обусловленную матрицу.
 
Это изменение увеличивает собственные значения матрицы <tex>F^T F</tex>, но не изменяет ее собственные вектора. В результате имеем хорошо обусловленную матрицу.

Пожалуйста, учтите, что любой ваш вклад в проект «Викиконспекты» может быть отредактирован или удалён другими участниками. Если вы не хотите, чтобы кто-либо изменял ваши тексты, не помещайте их сюда.
Вы также подтверждаете, что являетесь автором вносимых дополнений, или скопировали их из источника, допускающего свободное распространение и изменение своего содержимого (см. Викиконспекты:Авторские права). НЕ РАЗМЕЩАЙТЕ БЕЗ РАЗРЕШЕНИЯ ОХРАНЯЕМЫЕ АВТОРСКИМ ПРАВОМ МАТЕРИАЛЫ!

Чтобы изменить эту страницу, пожалуйста, ответьте на приведённый ниже вопрос (подробнее):

Отменить | Справка по редактированию (в новом окне)

Шаблоны, используемые на этой странице: