Изменения

Перейти к: навигация, поиск

Вариации регрессии

11 631 байт добавлено, 17 февраль
м
Байесовская регрессия: fixed lex mistake
{{main|Линейная регрессия}}
'''Линейная регрессия''' (англ. ''Linear linear regression'') {{---}} разновидность регрессии для моделирования линейной зависимости между зависимой и независимой переменными.
==Логистическая регрессия==
{{main|Логистическая регрессия}}
'''Логистическая регрессия''' (англ. ''Logistic logistic regression'') {{---}} разновидность регрессии для прогнозирования вероятности некоторого события по значениям независимых переменных. Зависимая переменная <tex>y</tex> в этом случае принимает значения <tex>0</tex> или <tex>1</tex> (рассматриваемое событие не произошло или произошло соответственно).
==Гребневая регрессия (ридж-регрессия)==
{{Определение
|definition =
'''Мультиколлинеарность''' ''(англ. ''multicollinearity)'' ) {{---}} наличие линейной зависимости между независимыми переменными регрессионной модели. Различают ''полную коллинеарность'' и ''частичную'' или просто ''мультиколлинеарность'' {{---}} наличие сильной корреляции между независимыми переменными.
}}
Рассмотрим пример линейной модели: <tex>y = b_1 x_1 + b_2 x_2 + b_3 x_3 + \varepsilon</tex>.
Пусть имеет место зависимость <tex>x_1 = x_2 + x_ 3</tex>. Добавим к первому коэффициенту произвольное число <tex>a</tex>, а из двух других коэффициентов это же число вычтем.
Получаем (без случайной ошибки):
 :<tex>y = (b_1 + a)x_1 + (b_2 - a)x_2 + (b_3 - a)x_3 = b_1 x_1 + b_2 x_2 + b_3 x_3 + a(x_1 - x_2 - x_3) = b_1 x_1 + b_2 x_2 + b_3 x_3</tex>
Несмотря на относительно произвольное изменение коэффициентов модели мы получили исходную модель, то есть такая модель неидентифицируема.
===Описание===
Напомним задачу многомерной линейной регрессии:
 
Рассматривается линейная зависимость <tex>f(x, \beta) = \langle \beta, x \rangle</tex>.
Находим вектор <tex>\beta^*</tex>, при котором достигается минимум среднего квадрата ошибки:
<center>:<tex>Q(\beta) = ||F \beta - y||^2</tex></center> 
<center>:<tex>\beta^*=\arg \min\limits_\beta Q(\beta)</tex></center>
Методом наименьших квадратов находим решение:
<center>:<tex>\beta^* = (F^T F)^{-1} F^T y</tex></center>
В условиях мультиколлинеарности матрица <tex>F^T F</tex> становится плохо обусловленной.
Для решения этой проблемы добавим к функционалу наложим ограничение на величину коэффициентов <tex>Q\beta</tex> регуляризационное слагаемое:<tex>||\overrightarrow{\beta}||_2^2 \leq t^2</tex>.  Функционал <tex>Q<center/tex>с учетом ограничения принимает вид::<tex>Q_{\lambda}(\beta) = ||F \beta - y||^2 + \lambda ||\beta||^2</tex>,</center>
где <tex>\lambda</tex> {{---}} неотрицательный параметр.
Решением в этом случае будет
<center>:<tex>\beta^* = (F^T F + \lambda I_n)^{-1} F^T y</tex></center>
Это изменение увеличивает собственные значения матрицы <tex>F^T F</tex>, но не изменяет ее собственные вектора. В результате имеем хорошо обусловленную матрицу.
Диагональная матрица <tex>\lambda I_n</tex> называется '''гребнем'''.
===Примеры кода=======Пример кода для Scikit-learn==== <font color = green># Импорт импорт библиотек</font>
'''from''' sklearn.datasets '''import''' make_regression
'''from''' sklearn.linear_model '''import''' Ridge
Точность предсказания для данного датасета и параметров:
<font color = green>>>></font> 0.8171822749108134
 
====Пример на языке Java====
Пример гребневой регрессии с применением <code>smile.regression.RidgeRegression</code><ref>[https://haifengl.github.io/smile/api/java/smile/regression/RidgeRegression.html/ Smile, Ridge Regression]</ref>
 
<code>Maven</code> зависимость:
<dependency>
<groupId>com.github.haifengl</groupId>
<artifactId>smile-core</artifactId>
<version>1.5.2</version>
</dependency>
 
'''import''' smile.data.NominalAttribute;
'''import''' smile.data.parser.DelimitedTextParser;
'''import''' smile.regression.RidgeRegression;
 
'''var''' parser = new DelimitedTextParser();
parser.setDelimiter(", ");
parser.setResponseIndex(new NominalAttribute("class"), 0);
'''var''' dataset = parser.parse("dataset.csv");
'''var''' lambda = 0.0057d;
'''var''' ridgeClf = new RidgeRegression(dataset.x(), dataset.y(), lambda);
ridgeClf.predict(testX);
==Лассо-регрессия==
===Описание===[[Файл: Ridge_and_Lasso_Regression.png|400px|thumb|Рис.1. Сравнение Лассо- и Ридж- регрессии, пример для двумерного пространства независимых переменных.<br/>Бирюзовые области изображают ограничения на коэффициенты <tex>\beta</tex>, эллипсы {{---}} некоторые значения функции наименьшей квадратичной ошибки.]] '''Метод регрессии лассо ''' (англ. ''LASSO, Least Absolute Shrinkage and Selection Operator'') похож на гребневую регрессию, но он использует другое ограничение на коэффициенты <tex>\beta</tex>:<tex>||\overrightarrow{\beta}||_1 \leq t</tex> Функционал <centertex>Q</tex> принимает следующий вид::<tex>Q_{\lambda}(\beta) = ||F \beta - y||^2 + \lambda ||\beta||</tex> Основное различие лассо- и ридж-регрессии заключается в том,что первая может приводить к обращению некоторых независимых переменных в ноль, тогда как вторая уменьшает их до значений, близких к нулю. Рассмотрим для простоты двумерное пространство независимых переменных. В случае лассо-регрессии органичение на коэффициенты представляет собой ромб (<tex>|\beta_1| + |\beta_2| \leq t</tex>), в случае ридж-регрессии {{---}} круг (<tex>\beta_1^2 + \beta_2^2 \leq t^2</centertex> В ходе минимизации некоторые ). Необходимо минимизировать функцию ошибки, но при этом соблюсти ограничения на коэффициенты становятся равными . С геометрической точки зрения задача состоит в том, чтобы найти точку касания линии, отражающей функцию ошибки с фигурой, отражающей ограничения на <tex>\beta</tex>. Из рисунка 1 интуитивно понятно, что в случае лассо-регрессии эта точка с большой вероятностью будет находиться на углах ромба, то есть лежать на оси, тогда как в случае ридж-регрессии такое происходит очень редко. Если точка пересечения лежит на оси, один из коэффициентов будет равен нулю, что определяет отбор информативных признакова значит, значение соответствующей независимой переменной не будет учитываться.
===Примеры кода=======Пример кода для Scikit-learn==== <font color = green># Импорт импорт библиотек</font>
'''from''' sklearn.datasets '''import''' make_regression
'''from''' sklearn.linear_model '''import''' Lasso
'''from''' sklearn.model_selection '''import''' train_test_split
<font color = green># генерируем данные для X и y</font> X, y = make_regression(n_samples=10000, noise=100, random_state=0) <font color = green># генерируем данные для X и y</font>
<font color = green># разделение данных на train и test</font>
Точность предсказания для данного датасета и параметров:
<font color = green>>>></font> 0.8173906804156383
 
====Пример на языке Java====
 
Пример Лассо-регрессии с применением <code>smile.regression.LASSO</code><ref>[https://haifengl.github.io/smile/api/java/smile/regression/LASSO.html/ Smile, LASSO regression]</ref>
 
<code>Maven</code> зависимость:
<dependency>
<groupId>com.github.haifengl</groupId>
<artifactId>smile-core</artifactId>
<version>1.5.2</version>
</dependency>
 
'''import''' smile.data.NominalAttribute;
'''import''' smile.data.parser.DelimitedTextParser;
'''import''' smile.regression.LASSO;
 
'''var''' parser = new DelimitedTextParser();
parser.setDelimiter(", ");
parser.setResponseIndex(new NominalAttribute("class"), 0);
'''var''' dataset = parser.parse("dataset.csv");
'''var''' lasso = new LASSO(dataset.x(), dataset.y(), 10);
lasso.predict(testX);
==Байесовская регрессия==
Описанные выше методы никак не учитывали наличие в данных шума, тогда как в реальных данных он скорее всего будет присутствовать. Предположим, что в данных все же есть некоторый шум, и что он распределен нормально. Тогда задачу линейной регрессии можно записать в следующем виде:
:<tex>f(x, \beta) = \langle \beta, x \rangle + \varepsilon</tex>, где <tex>\varepsilon \sim N(0, \sigma^2)</tex>.
 
Решением этой задачи мы и будем заниматься в этом разделе.
 
[[Файл: Bayessian_regression_noise.jpg|250px|thumb|Рис.2. Регрессия и шум в данных.<br/>Синяя точка {{---}} значение из датасета, красная {{---}} значение, полученное в результате работы алгоритма регрессии. Также на рисунке зеленой линией изображена предсказанная функция, а черной {{---}} гауссово распределение шума.]]
 
'''Байесовская линейная регрессия''' (англ. ''Bayesian linear regression'') {{---}} подход в линейной регрессии, в котором предполагается что шум распределен нормально.
Рассмотрим задачу линейной регрессии <tex>y = \overrightarrowНа рисунке 2 синяя точка показывает значения из датасета, красная {{\beta---}^T\overrightarrow{x} + \varepsilon</tex>значение, где <tex>\varepsilon_i \sim N(0предсказанное регрессией. Поскольку центр гауссианы находится в красной точке, \sigma^2)</tex>маленькие отклонения синей точки от красной более вероятны, а большие менее вероятны.
В терминах вероятностей можно записать следующее:<tex>p(y|\overrightarrow{x}, \overrightarrow{\beta}, \sigma^2) = N(y|\overrightarrow{\beta}^T \overrightarrow{x}), \sigma^2)</tex>Для решения поставленной задачи регрессии воспользуемся методом максимального правдоподобия.
Запишем правдоподобие::<tex>p(y|x, \beta, \sigma^2) = N(x \beta, \sigma^2)</tex>,где <tex>p(y|x, \beta, \sigma^2)</tex> {{---}} плотность распределения значения <tex>y</tex> из датасета, которая, как мы ранее предположили, соответствует нормальному распределению с центром в точке <tex>x \beta</tex> (значение для <tex>y</tex>, предсказанное алгоритмом). Будем также предполагать, что данные независимы:<center>:<tex>p(Yy|Xx, \overrightarrow{\beta}, \sigma^2) = \prod\limits_{i=1}^n N(y_i|\overrightarrow{x_i \beta}^T \overrightarrow{x}_i, \sigma^2)</tex> Поскольку нас интересует только максимум, положим <tex>\sigma = 1</tex>::<tex>\arg\max p(y|x, \beta) = \arg\max \prod\limits_{i=1}^n N(x_i \beta, 1)</centertex>
Прологарифмируем это выражение:
:<tex>\arg\max \ln p(y|x, \beta) = \arg\max \ln \prod\limits_{i=1}^n N(x_i \beta, 1) \\
= \arg\max \ln {\left( \frac{1}{(\sqrt{2 \pi})^n} \exp{\left(-\frac{1}{2} \sum\limits_{i-1}^n (y_i - x_i \beta)^2\right)}\right )} \\
= \arg\max - \sum\limits_{i=1}^n (y_i - x_i \beta)^2 \\
= \arg\min \sum\limits_{i=1}^n (y_i - x_i \beta)^2</tex>
Таким образом, оказывается, что метод максимального правдоподобия с учетом шума в данных сводится к оценке по методу наименьших квадратов, которую мы уже видели в обычной линейной регрессии. ===Пример кода для Scikit-learn=== <centerfont color = green># импорт библиотек</font> '''from''' sklearn.datasets '''import''' make_regression '''from''' sklearn.linear_model '''import''' BayesianRidge '''from''' sklearn.model_selection '''import''' train_test_split <font color = green># генерируем данные для X и y<tex/font>\ln p X, y = make_regression(Y|Xn_samples=10000, \overrightarrow{\beta}noise=100, \sigma^2random_state=0) \\ <font color = \ln \prod\limits_{igreen># разделение данных на train и test</font> train_X, test_X, train_y, test_y =1}^n Ntrain_test_split(y_i|\overrightarrow{\beta}^T \overrightarrow{x}_iX, \sigma^2y, test_size=0.3, random_state=3) \\ bayesian_regression = \ln {\leftBayesianRidge( \frac{1}{) <font color = green># обучение</font> bayesian_regression.fit(\sigma \sqrt{2 \pi}train_X, train_y)^n} \exp{ <font color = green># предсказание результата</font> ''print''(-\frac{1}{2 \sigma^2} \sum\limits_{i-1}^n bayesian_regression.predict(y_i - \overrightarrow{\beta}^T \overrightarrow{x_i}test_X)^2)}\right )} \\ <font color = -\frac{n}{2} \ln{2 \pi \sigma^2} - \frac{1}{2\sigma^2} \sum\limits_{i=1}^n (y_i-\overrightarrow{\beta}^T \overrightarrow{x}_i)^2</texgreen># вывод точности предсказания</centerfont> ''print''(bayesian_regression.score(test_X, test_y))
Из оценки максимального правдоподобия мы получили оценку по методу наименьших квадратовТочность предсказания для данного датасета и параметров: <font color = green>>>></font> 0.8170548749907206
==Логическая регрессия==
'''Логическая регрессия''' (англ. ''logic regression'') {{---}} обобщенный метод регрессии, применяемый в основном в случае, когда независимые переменные имеют двоичную природу (при этом зависимая переменная не обязательно двоичная). Задачей логической регрессии является определение независимых переменных, которые могут быть выражены как результат вычисления [[Определение булевой функции |булевой функции]] от других независимых переменных. Обычно в методах регрессии не учитывается связь между переменными. Предполагается, что влияние каждой переменной на результат не зависит от значений других переменных. Однако это предположение зачастую неверно. Пусть <tex>x_1, x_2, \dots, x_k</tex> {{---}} двоичные независимые переменные, и пусть <tex>y</tex> {{---}} зависимая переменная. Будем пытаться натренировать модели регрессии вида <tex>g(E(y)) = b_0 + b_1 L_1 + \dots + b_n L_n</tex>, где <tex>L_j</tex> {{---}} булева функция от переменных <tex>x_i</tex> (например <tex>L_j = (x_2 \lor \overline{x_4}) \land x_7</tex>). Для каждого типа модели необходимо определить функцию, которая отражает качество рассматриваемой модели. Например, для линейной регрессии такой функцией может быть остаточная сумма квадратов. Целью метода логической регрессии является минимизация выбранной функции качества посредством настройки параметров <tex>b_j</tex> одновременно с булевыми выражениями <tex>L_j</tex>. [[Файл: Logic_tree_moves.jpg|400px|thumb|Рис.3. Допустимые действия в процессе роста дерева.<br/>Элементы, появившиеся в результате применения операции, выделены черным фоном.]] Может показаться не совсем понятным, как же применить регрессию к булевым выражениям. Рассмотрим в общих чертах алгоритм логической регрессии. Логическая регрессия, как и другие методы регрессии, перебирает различные выражения в попытках минимизировать функцию потерь. Для <tex>k</tex> переменных можно составить <tex>2^{2^k}</tex> различных выражений. Нужно найти более эффективный метод для поиска наилучшего выражения, чем простой перебор всех вариантов.  Любое логическое выражение можно представить в виде дерева, где в узлах расположены операции, а листья представляют собой переменные. Будем называть такие деревья '''логическими деревьями''' (англ. ''logic trees''). Будем называть '''соседями''' (англ. ''neighbours'') логического дерева такие деревья, которые могут быть получены из него за один шаг. Допустимые шаги проиллюстрированы на рисунке 3.
Пусть <tex>X_1, X_2, \dots, X_k</tex> Рассмотрим самый простой алгоритм поиска наилучшего дерева {{---}} двоичные независимые переменные'''жадный поиск''' (англ. ''greedy search'').# В качестве стартового дерева выберем одну переменную, которая дает минимальное значение функции потерь среди всех остальных переменных. # Перебираем соседей текущего дерева и пусть <tex>Y</tex> {{---}} зависимая переменнаявыбираем такое, что оно уменьшает значение функции потерь по сравнению с текущим, а также дает наименьший результат среди остальных соседей.# Если такого дерева не существует, алгоритм завершается. Будем пытаться натренировать модели регрессии вида <tex>g(E(Y)) = b_0 + b_1 L_1 + \dots + b_n L_n</tex>Если оно все же есть, где <tex>L_j</tex> {{---}} булева функция от переменных <tex>X_i</tex>выбираем его в качестве текущего и повторяем второй шаг.
Для каждого типа модели определим функцию счетаЭтот алгоритм склонен к переобучению, которая отражает качество рассматриваемой моделиа также в некоторых ситуациях может остановиться преждевременно, так и не дойдя до наилучшего дерева. For example, for linear regression the score could be the residual sum of squares and for logistic regression the score could be the devianceСуществует также алгоритм под названием '''имитация отжига''' (англ. Будем стараться подобрать такие булевы выражения, при которых функция счета минимизируется''simulated annealing'') который показывает лучшие результаты, настраивая параметры <tex>b_j</tex> одновременно с булевыми выражениями <tex>L_j</tex>чем описанный жадный поиск.
==См. также==
* [http://www.machinelearning.ru/wiki/index.php?title=%D0%9B%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29 machinelearning.ru {{---}} Линейная регрессия (пример)]
* [http://www.machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B8%D0%B4%D0%B6-%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F machinelearning.ru {{---}} Ридж-регрессия]
* [https://ru.wikipedia.org/wiki/%D0%9C%D1%83%D0%BB%D1%8C%D1%82%D0%B8%D0%BA%D0%BE%D0%BB%D0%BB%D0%B8%D0%BD%D0%B5%D0%B0%D1%80%D0%BD%D0%BE%D1%81%D1%82%D1%8C Wikipedia {{---}} Мультиколлинеарность]
* [http://www.ccas.ru/voron/download/Regression.pdf Лекции по алгоритмам восстановления регрессии К. В. Воронцов]
* [https://towardsdatascience.com/ridge-and-lasso-regression-a-complete-guide-with-python-scikit-learn-e20e34bcbf0b Ridge and Lasso Regression: A Complete Guide with Python Scikit-Learn]
* [https://habr.com/ru/company/ods/blog/322076/ Habr {{---}} Базовые принципы машинного обучения на примере линейной регрессии]
* [http://kooperberg.fhcrc.org/logic/documents/documents.html Documents on Logic Regression]
76
правок

Навигация