1632
правки
Изменения
м
rollbackEdits.php mass rollback
=== Предположение кластеризованности (Cluster Assumption) ===
Допустим, что данные каждого из класса образуют [[Кластеризация|кластеры]]. Тогда Если использовать алгоритм кластеризации, используя размеченные данные для присвоения меток кластерам, тогда неразмеченные данные могут быть полезны в более точном нахождении границ этих кластеров, если использовать алгоритм кластеризации и использовать размеченные данные для присвоения меток кластерам.
'''Cluster Assumption''' {{---}} ''две точки $x_1$, $x_2$ из одного кластера с большей вероятностью имеют одинаковые метки $y_1$, $y_2$.''
'''Пример'''
Рассмотрим задачу обнаружения признаков на примере перцепции. Множество двухмерных отображений трёхмерного объекта со всех возможных углов обзора имеет весьма высокую размерность, будучи представленным в виде массивов изображений в памяти вычислительной машины; чёрно-белые картинки размером 32x32 пикселя можно понимать как точки 1024-мерного пространства углов обзора (пространство входных данных). Более значимая для перцепии перцепции структура (пространство признаков), однако, имеет может гораздо более низкую размерность: эти же изображения могут лежать в 2-мерном многообразии, параметризованном с помощью углов обзора (см. иллюстрацию).
Другим примером задач, когда естественные данные являются избыточными, является [[Векторное представление слов|векторное представление слов]] и [[Обработка естественного языка|обработка естественного языка]].
* Негативное влияние ошибочных прогнозов усиливается с обучением. В таком случае существуют эвристические решения, например "удаление" метки с объекта, достоверность прогноза которого оказалась ниже определённого порога
* Трудно достичь сходимости алгоритма. Однако, существуют частные случаи, когда самообучение эквивалентно работе [[EM-алгоритм|EM-алгоритма]], а также при использовании например его модификация под байесовский классификатор, использующий неразмеченные данные. Также у задач, использующих некоторые классы функций (например, линейныхлинейные), где известно решение существуют решения в виде сходящегося алгоритма.
=== Совместное обучение (Co-training) ===
=== Полуавтоматические [[Метод опорных векторов (SVM)|опорные вектора]] (S3VM) ===
[[File:S3VM-margin.png|thumb|300px400px|Зазор, разделяющий неразмеченные данные]]
Полуавтоматические SVM (англ. ''Semi-supervised SVMs'', ''S3VMs''), они же ''трансдуктивные SVM'' (TSVMs) решают задачу максимизации зазора (''margin'') между неразмеченными данными.
=== Алгоритмы на основе [[Теория графов|графов]] ===
[[File:digits Euclidean.png|thumb|400px|Изображения рукописных цифр. <br>Слева {{---}} две цифры с большим евклидовым расстоянием, но одинаковой меткой класса. <br>Справа {{---}} те же цифры, "соединённые" неразмеченной последовательностью (путь в графе), где каждые две соседние цифры имеют малое евклидово расстояние.]]
[[File:digits Euclidean graph.png|thumb|400px|Граф, построенный на множестве рукописных цифр "1" и "2".]]
Данные можно представить в виде графа, построенного с использованием знаний в предметной области или на основе сходства объектов.
4. Классифицируем новый объект $x$ из тестового множества, используя $sign(f(x))$
'''Пример'''
Графы, формирующиеся в процессе обучения, как правило, достаточно объёмны для графического отображения и человеческого восприятия. Для большей ясности рассмотрим множество данных, состоящее только из рукописных цифр "1" и "2". Критерием сходства объектов послужит евклидово расстояние, которое бывает особенно полезно при поиске локального сходства. Если такое расстояние между объектами достаточно мало, мы можем предположить, что объекты принадлежат одному классу. На основе расстояния можно построить [[Метрический классификатор и метод ближайших соседей|KNN]]-граф (см. иллюстрацию), где объекты с малым евклидовым расстоянием будут соединены рёбрами. Чем больше имеется неразмеченных данных, схожих с размеченными (см. пример с цифрой "2"), тем больше соотвествующих рёбер, и, следовательно, более высокая точность классификации.
'''Достоинства алгоритмов на графах'''
'''Недостатки'''
* Низкая эффективность при плохом постоении построении графа
* Зависимость от структуры графа и весов рёбер
# [https://www.molgen.mpg.de/3659531/MITPress--SemiSupervised-Learning.pdf MIT Press {{---}} Semi-Supervised Learning]
# [http://web.mit.edu/cocosci/Papers/man_nips.pdf Mapping a manifold of perceptual observations]
# [http://pages.cs.wisc.edu/~jerryzhu/pub/thesis.pdf Semi-Supervised Learning with Graphs]
[[Категория:Машинное обучение]]
[[Категория:Обучение с частичным привлечением учителя]]
