276
правок
Изменения
→Байесовская регрессия
==Байесовская регрессия==
'''Байесовская линейная регрессия''' (англ. ''Bayesian linear regression'') {{---}} подход в линейной регрессии, в котором предполагается что шум распределен нормально.
Рассмотрим задачу линейной регрессии <tex>y = \overrightarrow{\beta}^T\overrightarrow{x} + \varepsilon</tex>, где <tex>\varepsilon_i \sim N(0, \sigma^2)</tex>.
В терминах вероятностей можно записать следующее:
<tex>p(y|\overrightarrow{x}, \overrightarrow{\beta}, \sigma^2) = N(y|\overrightarrow{\beta}^T \overrightarrow{x}), \sigma^2)</tex>
Будем предполагать, что данные независимы:
<center><tex>p(Y|X, \overrightarrow{\beta}, \sigma^2) = \prod\limits_{i=1}^n N(y_i|\overrightarrow{\beta}^T \overrightarrow{x}_i, \sigma^2)</tex></center>
Пролоарифмируем это выражение:
<tex>\ln p(Y|X, \overrightarrow{\beta}, \sigma^2) \\ = \ln \prod\limits_{i=1}^n N(y_i|\overrightarrow{\beta}^T \overrightarrow{x}_i, \sigma^2) \\ = \ln {\left( \frac{1}{(\sigma \sqrt{2 \pi})^n} \exp{(-\frac{1}{2 \sigma^2} \sum\limits_{i-1}^n (y_i - \overrightarrow{\beta}^T \overrightarrow{x_i})^2)}\right )} \\ = -\frac{n}{2} \ln{2 \pi \sigma^2} - \frac{1}{2\sigma^2} \sum\limits_{i=1}^n (y_i-\overrightarrow{\beta}^T \overrightarrow{x}_i)^2</tex>
Из оценки макимального правдоподобия мы получили оценку по методу наименьших квадратов.
==Логическая регрессия==
