17
правок
Изменения
м
== Пример использования ==
Небольшие поправки стиля и опечаток
'''Метод ближайших соседей''' {{---}} простейший метрический классификатор, основанный на оценивании сходства объектов. Классифицируемый объект относится к тому классу, которому принадлежат ближайшие к нему объекты обучающей выборки.
'''Метод k ближайших соседей''' (англ. knn - k nearest neighbours) {{---}} Для повышения надёжности классификации объект относится к тому классу, которому принадлежит большинство из его соседей — {{---}} k ближайших к нему объектов обучающей выборки x_i. В задачах с двумя классами число соседей берут нечётным, чтобы не возникало ситуаций неоднозначности, когда одинаковое число соседей принадлежат разным классам.
'''Метод взвешенных ближайших соседей''' {{---}} в задачах с числом классов 3 и более нечётность уже не помогает, и ситуации неоднозначности всё равно могут возникать. Тогда i-му соседу приписывается вес w_i, как правило, убывающий с ростом ранга соседа i. Объект относится к тому классу, который набирает больший суммарный вес среди k ближайших соседей.
<tex>a(u) = \mathrm{arg}\max_{y\in Y} \sum_{i=1}^m \bigl[ x_{i; u}=y \bigr] w(i,u)</tex>,
где <tex>w(i,u)</tex> — {{---}} заданная весовая функция, которая оценивает степень важности <tex>i</tex>-го соседа для классификации объекта <tex>u</tex>. Естественно полагать, что эта функция неотрицательна и не возрастает по <tex>i</tex>.
По-разному задавая весовую функцию, можно получать различные варианты метода ближайших соседей.
<tex>w(i,u) = [i=1]</tex> — {{---}} простейший метод ближайшего соседа;
<tex>w(i,u) = [i\leq k]</tex> — {{---}} метод <tex>k</tex> ближайших соседей;
<tex>w(i,u) = [i\leq k] q^i</tex> — {{---}} метод <tex>k</tex> экспоненциально взвешенных ближайших соседей, где предполагается <tex>q < 1</tex>;
== Использование ядер сглаживания ==
=== Варианты метода ближайших соседей, использующие функцию ядра ===
<tex>w(i,u) = K\biggl(\frac{\rho(u,x_{i; u})}{h}\biggr)</tex> — {{---}} метод парзеновского окна фиксированной ширины <tex>h</tex>;
<tex>w(i,u) = K\biggl(\frac{\rho(u,x_{i; u})}{\rho(u,x_{k+1; u})}\biggr)</tex> — {{---}} метод парзеновского окна переменной ширины;
<tex>w(i,u) = K\biggl(\frac{\rho(u,x_{i; u})}{h(x_{i; u})}\biggr)</tex> — {{---}} метод потенциальных функций, в котором ширина окна <tex>h(x_i)</tex> зависит не от классифицируемого объекта, а от обучающего объекта <tex>x_i</tex>.
== Использование различных метрик расстояния ==
== Пример использования (через scikit-learn) ==
Пусть X, y - нормированные значения признаков и соответствуйющие им классы.
