Логистическая регрессия

Логистическая регрессия (англ. logistic regression) — метод построения линейного классификатора, позволяющий оценивать апостериорные вероятности принадлежности объектов классам.

Описание

Логистическая регрессия применяется для прогнозирования вероятности возникновения некоторого события по значениям множества признаков. Для этого вводится зависимая переменная $y$, принимающая значения $0$ и $1$ и множество независимых переменных [math]x_1, ... x_n[/math] на основе значений которых требуется вычислить вероятность принятия того или иного значения зависимой переменной.

Итак, пусть объекты задаются $n$ числовыми признаками $f_j : X \to R, j = 1 ... n$ и пространство признаковых описаний в таком случае $X = R^n$. Пусть $Y$ $-$ конечное множество меток классов и задана обучающая выборка пар «объект-ответ» [math]X^m = \{(x_1,y_1),\dots,(x_m,y_m)\}.[/math]

Рассмотрим случай двух классов: $Y = \{-1, +1\}$. В логистической регрессии строится линейный алгоритм классификации $a: X \to Y$ вида

[math]a(x, w) = \mathrm{sign}\left(\sum\limits_{j=1}^n w_j f_j(x) - w_0 \right)=\mathrm{sign}\left\lt x, w\right\gt [/math]

где $w_j$ $-$ вес $j$-го признака, $w_0$ $-$ порог принятия решения, $w=\left(w_0, ..., w_n\right)$ $-$ вектор весов, $\left<x, w\right>$ $-$ скалярное произведение признакового описания объекта на вектор весов. Предполагается, что искусственно введён нулевой признак: $f_{0}(x)=-1$.

Задача обучения линейного классификатора заключается в том, чтобы по выборке $X^m$ настроить вектор весов $w$. В логистической регрессии для этого решается задача минимизации эмпирического риска с функцией потерь специального вида: [math]Q(w) = \sum\limits_{i=1}^m \ln\left( 1 + \exp( -y_i \langle x_i,w \rangle ) \right) \to \min_{w}[/math]

После того, как решение $w$ найдено, становится возможным не только вычислять классификацию $a(x) = \mathrm{sign}\langle x,w \rangle$ для произвольного объекта $x$, но и оценивать апостериорные вероятности его принадлежности классам:

[math]\mathbb{P}\{y|x\} = \sigma\left( y \langle x,w \rangle\right),\;\; y\in Y[/math]

где $\sigma(z) = \frac1{1+e^{-z}}$ — сигмоидная функция.

Обоснование

С точки зрения байесовского классификатора

Наиболее строгое обоснование логистической регрессии опирается на следующую теорему

Теорема:

Пусть функции правдоподобия (плотности распределения) классов $p_y(x)$ принадлежат экспонентному семейству плотностей $p_y(x) = \exp \left( \langle\theta,x\rangle \cdot a(\delta) + b(\delta,\theta) + d(x,\delta) \right)$, где $a, b, d$ — произвольные функции функции правдоподобия имеют равные знаения параметра разброса $\delta$ и отличаются только значениями параметра сдвига $\theta_y$ среди признаков есть константа, скажем, $f_0(x) = -1$ Тогда линейный классификатор является оптимальным байесовским классификатором апостериорные вероятности классов оценивается по формуле [math]\mathbb{P}\{y|x\} = \sigma\left( y \langle x,w \rangle\right),\;\; y\in Y[/math]

Доказательство:

[math]\triangleright[/math]

Рассмотрим отношение апостериорных вероятностей классов и воспользуемся тем, что $p_y(x)$ — экспонентные плотности с параметрами $\theta_y$ и $\delta$: [math]\frac{\mathrm{P}\left(+1|x\right)}{\mathrm{P}\left(-1|x\right)} = \frac{\mathrm{P_+}p_+(x)}{\mathrm{P}_-p_-(x)}[/math] где $\mathrm{P}_+$ $-$ априорные вероятности, $p_+(x)$ $-$ функции правдоподобия [math]\frac{\mathrm{P_+}p_+(x)}{\mathrm{P}_-p_-(x)} = \exp\left(\langle\left(c_+(\delta)\theta_+-c_-(\delta)\theta_-\right), x\rangle+b_+(\delta, \theta_+)-b_-(\delta, \theta_-) + \ln\frac{\mathrm{P}_+}{\mathrm{P}_-}\right)[/math] $w=c_+(\delta)\theta_+-c_-(\delta)\theta_- = const(x)$ Здесь вектор $w$ не зависит от $x$ и является вектором свободных коэффициентов при признаках. Все слагаемые под экспонентой, не зависящие от $x$, можно считать аддитивной добавкой к коэффициенту при константном признаке. Поскольку свободные коэффициенты настраиваются по обучающей выборке, вычислять эту аддитивную добавку нет никакого смысла, и её можно включить в $\langle w, x\rangle$. Следовательно, [math]\frac{\mathrm{P}\left(+1|x\right)}{\mathrm{P}\left(-1|x\right)} = \exp\left(\langle w, x\rangle\right)[/math] Используя формулу полной вероятности [math]\mathrm{P}\left(+1|x\right) + \mathrm{P}\left(-1|x\right) = 1[/math] выразим апостериорные вероятности [math]\mathrm{P}\left(+1|x\right) , \mathrm{P}\left(-1|x\right)[/math] через $\langle w, x\rangle$ [math]\mathrm{P}\left(+1|x\right) = \sigma\left(+\langle w ,x\rangle\right) , \mathrm{P}\left(-1|x\right) = \sigma\left(-\langle w ,x\rangle\right)[/math] Объединяя эти два равенства в одно, получаем требуемое: [math]\mathrm{P}\left(y|x\right)=\sigma\left(\langle w, x\rangle y\right)[/math] Разделяющая поверхность в байесовском решающем правиле определяется уравнением [math]\lambda_- \mathrm{P}\left(-1|x\right) = \lambda_+ \mathrm{P}\left(+1|x\right)[/math] которое равносильно [math]\langle w, x\rangle - \ln\frac{\lambda_-}{\lambda_+} = 0[/math] Следовательно, разделяющая поверхность линейна.

[math]\triangleleft[/math]

Пример кода для scikit-learn

Классификатор sklearn.linear_model.LogisticRegression имеет несколько параметров, например:

• solver $-$ алгоритм, использующийся для оптимизации
• multi_class $-$ классификация на 2 или много классов

• Импортируем нужные библиотеки

from sklearn.linear_model import LogisticRegression
from sklearn import datasets
from sklearn.model_selection import train_test_split

• Выберем тренировочное и тестовое множества

iris = datasets.load_iris()

X = iris.data
y = iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

• Обучение

clf = LogisticRegression(random_state=0, solver='lbfgs', multi_class='multinomial')
model = clf.fit(X_train, y_train)

• Предсказание

y_pred = model.predict(X_test)
model.score(X_test, y_test)

См. также

• Байесовская классификация
• Линейная регрессия
• Вариации регрессии
• Обзор библиотек для машинного обучения на Python
• Общие понятия
• Уменьшение размерности

Источники информации

1. Логистическая регрессия $-$ курс лекций Воронцова
2. Logistic regression $-$ Wikipedia
3. sklearn.linear_model.LogisticRegression $-$ реализация алгоритма на scikit-learn.org