Изменения

===Примеры кода=======Пример кода для Scikit-learn====

<center>:<tex>Q_{\lambda}(\beta) = ||F \beta - y||^2 + \lambda ||\beta||</tex>,</center>

Основное различие лассо- и ридж-регрессии заключается в том, что первая может приводить к обращению некоторых независимых переменных в ноль, тогда как вторая уменьшает их до значений, близких к нулю. Рассмотрим для простоты двумерное пространство независимых переменных. В случае риджлассо-регрессии органичение на коэффициенты представляют представляет собой круг ромб (<tex>|\beta_1^2 | + |\beta_2^2 | \leq t^2</tex>), в случае лассоридж-регрессии {{---}} ромб круг (<tex>|\beta_1| ^2 + |\beta_2| ^2 \leq t^2</tex>). Необходимо минимизировать функцию ошибки, но при этом соблюсти ограничения на коэффициенты. С геометрической точки зрения задача состоит в том, чтобы найти точку касания линии, отражающей функцию ошибки с фигурой, отражающей ограничения на <tex>\beta</tex>. Из рисунка 1 интуитивно понятно, что в случае лассо-регрессии эта точка с большой вероятностью будет находиться на углах ромба, то есть лежать на оси, тогда как в случае ридж-регрессии такое происходит очень редко. Если точка пересечения лежит на оси, один из коэффициентов будет равен нулю, а значит, значение соответствующей независимой переменной не будет учитываться.

===Примеры кода=======Пример кода для Scikit-learn====

[[Файл: Bayessian_regression_noise.jpg|250px|thumb|Рис.2. Регрессия и шум в данных.<br/>Синяя точка {{---}} значение из датасета, красная {{---}} значение, полученное в результате работы алгоритма регрессии. Также на рисунке зеленой линией изображена функция, предсказанная алгоритмом регрессиии, а черной {{---}} гауссово распределение шума.]] На рисунке 2 синяя точка показывает значения из датасета, красная {{---}} значение, предсказанное регрессией. Центр Поскольку центр гауссианы находится в красной точке. Маленькие , маленькие отклонения синей точки от красной более вероятны, они лежат недалеко от центра гауссианы, а большие {{---}} менее вероятны. Понятно, что если мы разместим красную точку далеко, отклонение для синей точки станет большим и следовательно, маловероятным.

:<tex>p(y|x, \beta, \sigma^2) = N(x \beta, \sigma^2)</tex>,где <tex>p(y|x, \beta x, \sigma^2)</tex>{{---}} плотность распределения значения <tex>y</tex> из датасета, которая, как мы ранее предположили, соответствует нормальному распределению с центром в точке <tex>x \beta</tex> (значение для <tex>y</tex>, предсказанное алгоритмом).

Будем также предполагать, что данные независимы::<tex>p(y|x, \beta, \sigma^2) = \prod\limits_{i=1}^n N(y_i|x_i \beta x_i, \sigma^2)</tex> Поскольку нас интересует только максимум, положим <tex>\sigma = 1</tex>::<tex>\arg\max p(y|x, \beta) = \arg\max \prod\limits_{i=1}^n N(x_i \beta, 1)</tex>

:<tex>\arg\max \ln p(y|x, \beta, \sigma^2) = \arg\ = max \ln \prod\limits_{i=1}^n N(y_i|x_i \beta x_i, \sigma^21) \\ = \arg\max \ln {\left( \frac{1}{(\sigma \sqrt{2 \pi})^n} \exp{\left(-\frac{1}{2 \sigma^2} \sum\limits_{i-1}^n (y_i - x_i \beta x_i)^2\right)}\right )} \\ = \arg\max -\fracsum\limits_{i=1}^n}{2} (y_i - x_i \ln{beta)^2 \pi \sigma^2} - = \frac{1}{2arg\sigma^2} min \sum\limits_{i=1}^n (y_i - x_i \beta x_i)^2</tex>

Из оценки Таким образом, оказывается, что метод максимального правдоподобия мы получили оценку с учетом шума в данных сводится к оценке по методу наименьших квадратов, которую мы уже видели в обычной линейной регрессии.

'''Логическая регрессия''' (англ. ''logic regression'') {{---}} обобщенный метод регрессии, применяемый в основном в случае, когда независимые переменные имеют двоичную природу (при этом зависимая переменная не обязательно двоичная). Задачей логической регрессии является определение независимых переменных, которые могут быть выражены как результат вычисления [[Определение булевой функции |булевой функции]] от других независимых переменных. Обычно в методах регрессии не учитывается связь между переменными. Предполагается, что влияние каждой переменной на результат не зависит от значений других переменных. Однако это предположение зачастую неверно.

Для каждого типа модели необходимо определить функциюМожет показаться не совсем понятным, которая отражает качество рассматриваемой моделикак же применить регрессию к булевым выражениям. Рассмотрим в общих чертах алгоритм логической регрессии. НапримерЛогическая регрессия, для линейной как и другие методы регрессии такой функцией может быть остаточная сумма квадратов, перебирает различные выражения в попытках минимизировать функцию потерь. Целью метода логической регрессии является минимизация выбранной функции качества посредством настройки параметров Для <tex>b_jk</tex> одновременно с булевыми выражениями переменных можно составить <tex>L_j2^{2^k}</tex>различных выражений. Нужно найти более эффективный метод для поиска наилучшего выражения, чем простой перебор всех вариантов.  Любое логическое выражение можно представить в виде дерева, где в узлах расположены операции, а листья представляют собой переменные. Будем называть такие деревья '''логическими деревьями''' (англ. ''logic trees''). Будем называть '''соседями''' (англ. ''neighbours'') логического дерева такие деревья, которые могут быть получены из него за один шаг. Допустимые шаги проиллюстрированы на рисунке 3. Рассмотрим самый простой алгоритм поиска наилучшего дерева {{---}} '''жадный поиск''' (англ. ''greedy search'').# В качестве стартового дерева выберем одну переменную, которая дает минимальное значение функции потерь среди всех остальных переменных. # Перебираем соседей текущего дерева и выбираем такое, что оно уменьшает значение функции потерь по сравнению с текущим, а также дает наименьший результат среди остальных соседей.# Если такого дерева не существует, алгоритм завершается. Если оно все же есть, выбираем его в качестве текущего и повторяем второй шаг. Этот алгоритм склонен к переобучению, а также в некоторых ситуациях может остановиться преждевременно, так и не дойдя до наилучшего дерева. Существует также алгоритм под названием '''имитация отжига''' (англ. ''simulated annealing'') который показывает лучшие результаты, чем описанный жадный поиск.