Изменения

Пусть $X$ множество объектов, $Y$ конечное множество имён классов, множество $X×YX \times Y$ является вероятностным пространством с плотностью распределения $p(x,y)=P(y)p(x|y)$.

* Имеется простая выборка $X^ℓl=(x_i, y_i)^ℓ_l_{i=1}$ из неизвестного распределения $p(x,y)=P_yp_y(x)$. Требуется построить ''эмпирические оценки'' априорных вероятностей $P'_y$ и функций правдоподобия $p'_y(x)$ для каждого из классов $y \in Y$.

== Задача восстановления плотности распределения == Требуется оценить плотность вероятностного распределения Априорные вероятности классов $p(x,y) =P_yp_y(x)P_y$можно оценить согласно закону больших чисел, по выборке тогда частота появления объектов каждого из классов равна $X^ℓ_yP'_y=\frac{(x_i,y_i)^ℓ_l_y}{il}$ где $l_y=1} | y_i=X^l_y|, y\}in Y$сходится по вероятности к $P_y$ при $l_y \to \infty$. Чем больше длина выборки, тем точнее выборочная оценка $P'_y$.

'''Наивный == Оптимальный байесовский классификатор'''==

Рассмотрим произвольный алгоритм $a:X \to Y$.Он разбивает множество $X$ на не пересекающиеся области $A_y=\{x \in X | a(x) = y\}, y \in Y$.Вероятность того,что появится объект класса $y$ и алгоритм $a$ отнесёт его к классу $s$, равна $P_yP(A_s|y)$.Каждой паре $(y,s) \in Y \times Y$ поставим в соответствие величину потери $\lambda_{ys}$ при отнесении объекта класса $y$ к классу $s$. {{Гипотеза Определение| definition =Признаки '''Функционал среднего риска''' {{---}} ожидаемая величина потери при классификации объектов алгоритмом $a$::<tex> R(a) = \displaystyle\sum_{y \in Y}\sum_{s \in Y}\lambda_{ys}P_yP(A_s|y) </tex>}} {{Теорема|about=об оптимальности байесовского классификатора|statement=Если известны априорные вероятности $P_y$f_1и функции правдоподобия $p_y(x)$,то минимум среднего риска $R(a)$ достигается алгоритмом:<tex> a(x) = \displaystyle\arg\min_{s \in Y}\sum_{y \in Y}\lambda_{ys}P_yp_y(x) </tex>|proof= Для произвольного $t \in Y$ запишем функционал среднего риска: :<tex> R(a)=\displaystyle\sum_{y \in Y}\sum_{s \in Y}\lambda_{ys}P_yP(A_s|y) = \sum_{y \in Y}\lambda_{yt}P_yP(A_t|y) + \sum_{s \in Y\setminus\{t\} }\sum_{y \in Y}\lambda_{ys}P_yP(A_s|y)...</tex> Применив формулу полной вероятности,f_n$P(A_t \mid y) = 1 −\displaystyle\sum_{ s \in Y \setminus \{t\} }P(xA_s \mid y)$ являются независимыми случайными ве, получим: :<tex> R(a) = \displaystyle\sum_{y \in Y}\lambda_{yt}P_y + \sum_{ s \in Y \setminus \{t\} } \sum_{y \in Y} (\lambda_{ys} -личинами\lambda_{yt})P_yP(A_s|y) = </tex> :<tex> = const(a) + \displaystyle\sum_{ s \in Y \setminus \{t\} } \int_{A_s}\sum_{y \in Y} (\lambda_{ys}−\lambda_{yt})P_yp_y(x)dx. </tex> Следовательно, функции правдоподобия классов представимы в видеВведём для сокращения записи обозначение $p_yg_s(x) = p\displaystyle\sum_{y1y \in Y}\lambda_{ys}P_yp_y(x)$, тогда $R(ξ_1a)···p_= const(a) + \displaystyle\sum_{ s \in Y \setminus \{ynt\}}\int_{A_s}(g_s(x)−g_t(x))dx$. Минимум интеграла достигается, когда $A_s$ совпадает с областью неположительности подынтегрального выражения. :<tex> A_s=\{x \in X \mid g_s(ξ_nx) \leq g_t(x), y \forall t \in Y, t \leq s\}. </tex> С другой стороны, $ где p_A_s=\{yjx \in X \mid a(x) = s\}$. Значит, $a(ξ_jx) плотность распределения значений = s$jтогда и только тогда, когда :$-го признака для класса $ys= \displaystyle\arg\min_{t \in Y}g_t(x)$.