* Имеется простая выборка $X^ℓ=(x_i, y_i)^ℓ_{i=1}$ из неизвестного распределения $p(x,y)=P_yp_y(x)$. Требуется построить ''эмпирические оценки'' априорных вероятностей $P'_y$ и функций правдоподобия $p'_y(x)$ для каждого из классов $y \in Y$.
* По известным плотностям распределения $p_y(x)$ и априорным вероятностям $P_y$ всех классов $y \in Y$ построить алгоритм $a(x)$, минимизирующий вероятность ошибочной классификации.
== Задача восстановления плотности распределения ==
Требуется оценить плотность вероятностного распределения $p(x,y) =P_yp_y(x)$, по выборке $X^ℓ_y=\{(x_i,y_i)^ℓ_{i=1} | y_i=y\}$.
Априорные вероятности классов $P_y$ можно оценить согласно закону больших чисел, тогда частота появления объектов каждого из классов $P'_y=\frac{ℓ_y}{ℓ}$ где $ℓ_y=|X^ℓ_y|, y \in Y$
сходится по вероятности к $P_y$ при $ℓ_y→∞$. Чем больше длина выборки, тем точнее выборочная оценка $P'_y$.
'''== Наивный байесовский классификатор'''== Допустим, что объекты $x \in X$ описываются $n$ числовыми признаками $f_j:X→R,j= 1,...,n$. Обозначим через $x = (ξ_1,...,ξ_n)$ произвольный элемент пространства объектов $X=Rn$, где $ξ_j=f_j(x)$. Предположим, что признаки $f_1(x),...,f_n(x)$ являются независимыми случайными величинами. Следовательно, функции правдоподобия классов представимы в виде: <tex>p_y(x) = \prod^n_{i=1}p_{yi}(ξ_i)</tex>
{{Гипотеза | definition =Признаки $f_1(x),...,f_n(x)$ являются независимыми случайными ве-личинами. Следовательно, функции правдоподобия классов представимы в видегде $p_y(x) = p{y1}(ξ_1)···p_{yn}(ξ_n), y \in Y$ где p_{yj}(ξ_j) $ плотность распределения значений $j$-го признака для класса $y$. }}Алгоритмы классификации исходящие их этого предположения, называются ''наивными байесовскими''
