19
правок
Изменения
→Обоснование
== Обоснование ==
'''С точки зрения [[Байесовский классификатор|байесовского классификатора]]'''
Наиболее строгое обоснование логистической регрессии опирается на следующую теорему
{{Теорема
|statement=Пусть
* функции правдоподобия (плотности распределения) классов $p_y(x)$ принадлежат экспонентному семейству плотностей $p_y(x) = \exp \left( \langle\theta,x\rangle \cdot a(\delta) + b(\delta,\theta) + d(x,\delta) \right)$, где $a, b, d$ — произвольные функции
*функции правдоподобия имеют равные знаения параметра разброса $\delta$ и отличаются только значениями параметра сдвига $\theta_y$
*среди признаков есть константа, скажем, $f_0(x) = -1$
Тогда
*линейный классификатор является оптимальным байесовским классификатором
*апостериорные вероятности классов оценивается по формуле
|proof=
}}
