Изменения

Пусть $X$ множество объектов, $Y$ конечное множество имён классов, множество $X×YX \times Y$ является вероятностным пространством с плотностью распределения $p(x,y)=P(y)p(x|y)$.

* Имеется простая выборка $X^ℓl=(x_i, y_i)^ℓ_l_{i=1}$ из неизвестного распределения $p(x,y)=P_yp_y(x)$. Требуется построить ''эмпирические оценки'' априорных вероятностей $P'_y$ и функций правдоподобия $p'_y(x)$ для каждого из классов $y \in Y$.

Априорные вероятности классов $P_y$ можно оценить согласно закону больших чисел, тогда частота появления объектов каждого из классов равна $P'_y=\frac{ℓ_yl_y}{ℓl}$ где $ℓ_yl_y=|X^ℓ_yl_y|, y \in Y$сходится по вероятности к $P_y$ при $ℓ_y→∞l_y \to \infty$. Чем больше длина выборки, тем точнее выборочная оценка $P'_y$.  == Оптимальный байесовский классификатор == Рассмотрим произвольный алгоритм $a:X \to Y$.Он разбивает множество $X$ на не пересекающиеся области $A_y=\{x \in X | a(x) = y\}, y \in Y$.Вероятность того,что появится объект класса $y$ и алгоритм $a$ отнесёт его к классу $s$, равна $P_yP(A_s|y)$.Каждой паре $(y,s) \in Y \times Y$ поставим в соответствие величину потери $\lambda_{ys}$ при отнесении объекта класса $y$ к классу $s$. {{Определение|definition ='''Функционал среднего риска''' {{---}} ожидаемая величина потери при классификации объектов алгоритмом $a$:<tex>R(a) = \displaystyle\sum_{y \in Y}\sum_{s \in Y}\lambda_{ys}P_yP(A_s|y)</tex>}} {{Теорема|about=об оптимальности байесовского классификатора|statement=Если известны априорные вероятности $P_y$ и функции правдоподобия $p_y(x)$, то минимум среднего риска $R(a)$ достигается алгоритмом<tex>a(x) = \displaystyle\arg\min_{s \in Y}\sum_{y \in Y}\lambda_{ys}P_yp_y(x)</tex>|proof= Для произвольного $t \in Y$ запишем функционал среднего риска: <tex>R(a)=\displaystyle\sum_{y \in Y}\sum_{s \in Y}\lambda_{ys}P_yP(A_s|y) = \sum_{y \in Y}\lambda_{yt}P_yP(A_t|y) + \sum_{s \in Y\setminus\{t\} }\sum_{y \in Y}\lambda_{ys}P_yP(A_s|y).</tex> Применив формулу полной вероятности, $P(A_t \mid y) = 1 −\displaystyle\sum_{ s \in Y \setminus \{t\} }P(A_s \mid y)$, получим: <tex>R(a) = \displaystyle\sum_{y \in Y}\lambda_{yt}P_y + \sum_{ s \in Y \setminus \{t\} } \sum_{y \in Y} (\lambda_{ys} - \lambda_{yt})P_yP(A_s|y) = </tex> <tex>= const(a) + \displaystyle\sum_{ s \in Y \setminus \{t\} }\int_{A_s}\sum_{y \in Y} (\lambda_{ys}−\lambda_{yt})P_yp_y(x)dx.</tex> Введём для сокращения записи обозначение $g_s(x) = \displaystyle\sum_{y \in Y}\lambda_{ys}P_yp_y(x)$, тогда $R(a) = const(a) + \displaystyle\sum_{ s \in Y \setminus \{t\} }\int_{A_s}(g_s(x)−g_t(x))dx$. Минимум интегрла достигается, когда $A_s$ совпадает с областью неположительности подынтегрального выражения. <tex>A_s=\{x \in X \mid g_s(x) \leq g_t(x), \forall t \in Y, t \leq s\}.</tex> С другой стороны, $A_s=\{x \in X \mid a(x) = s\}$. Значит, $a(x) = s$ тогда и только тогда, когда $s= \displaystyle\arg\min_{t \in Y}g_t(x)$.}} 

Допустим, что объекты $x \in X$ описываются $n$ числовыми признаками $f_j:X→R,j= 1,...,n$. Обозначим через $x = (ξ_1\xi_1,...,ξ_n\xi_n)$ произвольный элемент пространства объектов $X=RnR^n$, где $ξ_j\xi_j=f_j(x)$.

p_y(x) = \displaystyle\prod^n_{i=1}p_{yi}(ξ_i\xi_i)

где $p_{yj}(ξ_j\xi_j)$ плотность распределения значений $j$-го признака для класса $y$.