Вариации регрессии — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
(→‎Гребневая регрессия (ридж-регрессия))
Строка 1: Строка 1:
 
'''Регрессия''' (англ. ''Regression'') {{---}} метод моделирования зависимости между зависимой переменной <tex>y</tex> и одной или несколькими независимыми переменными <tex>x_1, x_2, \dots x_n</tex>. В случае нескольких независимых переменных регрессия называется '''множественной''' (англ. ''multivariate regression''). Цель регрессионного анализа состоит в том, чтобы оценить значение непрерывной выходной переменной по значениям входных переменных.
 
'''Регрессия''' (англ. ''Regression'') {{---}} метод моделирования зависимости между зависимой переменной <tex>y</tex> и одной или несколькими независимыми переменными <tex>x_1, x_2, \dots x_n</tex>. В случае нескольких независимых переменных регрессия называется '''множественной''' (англ. ''multivariate regression''). Цель регрессионного анализа состоит в том, чтобы оценить значение непрерывной выходной переменной по значениям входных переменных.
  
−
===Линейная регрессия===
+
==Линейная регрессия==
 
{{main|Линейная регрессия}}
 
{{main|Линейная регрессия}}
  
 
'''Линейная регрессия''' (англ. ''Linear regression'') {{---}} разновидность регрессии для моделирования линейной зависимости между зависимой и независимой переменными.
 
'''Линейная регрессия''' (англ. ''Linear regression'') {{---}} разновидность регрессии для моделирования линейной зависимости между зависимой и независимой переменными.
  
−
===Логистическая регрессия===
+
==Логистическая регрессия==
 
{{main|Логистическая регрессия}}
 
{{main|Логистическая регрессия}}
 
'''Логистическая регрессия''' (англ. ''Logistic regression'') {{---}} разновидность регрессии для моделирования зависимости между зависимой и независимой переменными в случае, когда зависимая переменная <tex>y</tex> принимает значения в диапазоне от <tex>0</tex> до <tex>1</tex>.
 
'''Логистическая регрессия''' (англ. ''Logistic regression'') {{---}} разновидность регрессии для моделирования зависимости между зависимой и независимой переменными в случае, когда зависимая переменная <tex>y</tex> принимает значения в диапазоне от <tex>0</tex> до <tex>1</tex>.
Строка 28: Строка 28:
 
===Идея===
 
===Идея===
 
Напомним решение для многомерной линейной регрессии:
 
Напомним решение для многомерной линейной регрессии:
−
<tex>\alpha* = (F^T F)^{-1} F^T y = F^+ y</tex>
+
<tex>\beta* = (F^T F)^{-1} F^T y = F^+ y</tex>
  
  
 
===Пример кода для Scikit-learn===
 
===Пример кода для Scikit-learn===
  
−
===Лассо-регрессия===
+
==Лассо-регрессия==
−
====Описание====
+
===Описание===
−
====Пример кода для Scikit-learn====
+
===Пример кода для Scikit-learn===
  
−
===Байесовская===
+
==Байесовская==
  
−
===Логическая регрессия===
+
==Логическая регрессия==
  
−
===Другие виды регрессии===
+
==Другие виды регрессии==
−
====Экологическая регрессия====
+
===Экологическая регрессия===
  
−
====LAD-регрессия====
+
===LAD-регрессия===
  
−
====Джекнайф-регрессия====
+
===Джекнайф-регрессия===
  
−
== См. также ==
+
==См. также==
 
* [[Общие понятия]]
 
* [[Общие понятия]]
 
* [[Линейная регрессия]]
 
* [[Линейная регрессия]]
Строка 56: Строка 56:
 
* [[Уменьшение размерности]]
 
* [[Уменьшение размерности]]
  
−
== Источники информации ==
+
==Источники информации==
 +
# [http://datareview.info/article/10-tipov-regressii-kakoy-vyibrat/ 10 типов регрессии – какой выбрать?]
 
# [http://www.machinelearning.ru/wiki/index.php?title=%D0%9B%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29 machinelearning.ru {{---}} Линейная регрессия (пример)]
 
# [http://www.machinelearning.ru/wiki/index.php?title=%D0%9B%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29 machinelearning.ru {{---}} Линейная регрессия (пример)]
 +
# [http://www.machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B8%D0%B4%D0%B6-%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F machinelearning.ru {{---}} Ридж-регрессия]
 +
# [https://ru.wikipedia.org/wiki/%D0%9C%D1%83%D0%BB%D1%8C%D1%82%D0%B8%D0%BA%D0%BE%D0%BB%D0%BB%D0%B8%D0%BD%D0%B5%D0%B0%D1%80%D0%BD%D0%BE%D1%81%D1%82%D1%8C Wikipedia {{---}} Мультиколлинеарность]
 +
# [http://ru.learnmachinelearning.wikia.com/wiki/%D0%93%D1%80%D0%B5%D0%B1%D0%BD%D0%B5%D0%B2%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F_(Ridge_regression) Гребневая регрессия (Ridge regression)]
 +
# [http://www.ccas.ru/voron/download/Regression.pdf Лекции по алгоритмам восстановления регрессии
 +
К. В. Воронцов]
 
# [http://statistica.ru/glossary/general/regressiya/ Словарь статистических терминов]
 
# [http://statistica.ru/glossary/general/regressiya/ Словарь статистических терминов]
  

Версия 19:56, 23 января 2019

Регрессия (англ. Regression) — метод моделирования зависимости между зависимой переменной [math]y[/math] и одной или несколькими независимыми переменными [math]x_1, x_2, \dots x_n[/math]. В случае нескольких независимых переменных регрессия называется множественной (англ. multivariate regression). Цель регрессионного анализа состоит в том, чтобы оценить значение непрерывной выходной переменной по значениям входных переменных.

Линейная регрессия

Основная статья: Линейная регрессия

Линейная регрессия (англ. Linear regression) — разновидность регрессии для моделирования линейной зависимости между зависимой и независимой переменными.

Логистическая регрессия

Основная статья: Логистическая регрессия

Логистическая регрессия (англ. Logistic regression) — разновидность регрессии для моделирования зависимости между зависимой и независимой переменными в случае, когда зависимая переменная [math]y[/math] принимает значения в диапазоне от [math]0[/math] до [math]1[/math].

Гребневая регрессия (ридж-регрессия)

Гребневая регрессия или ридж-регрессия (англ. ridge regression) — один из методов понижения размерности. Применяется для борьбы с избыточностью данных, когда независимые переменные коррелируют друг с другом, вследствие чего проявляется неустойчивость оценок коэффициентов многомерной линейной регрессии.

Мотивация

Мультиколлинеарность (англ. multicollinearity) — наличие линейной зависимости между независимыми переменными регрессионной модели. Различают полную коллинеарность и частичную или просто мультиколлинеарность — наличие сильной корреляции между факторами.

Рассмотрим пример линейной модели: [math]y = b_1 x_1 + b_2 x_2 + b_3 x_3 + \varepsilon[/math]. Пусть имеет место зависимость [math]x_1 = x_2 + x_ 3[/math]. Добавим к первому коэффициенту произвольное число [math]a[/math], а из двух других коэффициентов это же число вычтем. Получаем (без случайной ошибки):

[math]y = (b_1 + a)x_1 + (b_2 - a)x_2 + (b_3 - a)x_3 = b_1 x_1 + b_2 x_2 + b_3 x_3 + a(x_1 - x_2 - x_3) = b_1 x_1 + b_2 x_2 + b_3 x_3[/math]

Несмотря на относительно произвольное изменение коэффициентов модели мы получили исходную модель, то есть такая модель неидентифицируема.

На практике чаще встречается проблема сильной корреляции между независимыми переменными. В этом случае оценки параметров модели получить можно, но они будут неустойчивыми.

Идея

Напомним решение для многомерной линейной регрессии: [math]\beta* = (F^T F)^{-1} F^T y = F^+ y[/math]


Пример кода для Scikit-learn

Лассо-регрессия

Описание

Пример кода для Scikit-learn

Байесовская

Логическая регрессия

Другие виды регрессии

Экологическая регрессия

LAD-регрессия

Джекнайф-регрессия

См. также

Источники информации

  1. 10 типов регрессии – какой выбрать?
  2. machinelearning.ru — Линейная регрессия (пример)
  3. machinelearning.ru — Ридж-регрессия
  4. Wikipedia — Мультиколлинеарность
  5. Гребневая регрессия (Ridge regression)
  6. [http://www.ccas.ru/voron/download/Regression.pdf Лекции по алгоритмам восстановления регрессии

К. В. Воронцов]

  1. Словарь статистических терминов
Источник — «http://neerc.ifmo.ru/wiki/index.php?title=Вариации_регрессии&oldid=69075»