Изменения

== Понятие машинного обучения в искусственном интеллекте Определение ==

'''Обучение с частичным привлечением учителя''' (англ. semi-supervised learning, SSL) {{---}} разновидность [[Общие понятия#Классификация задач машинного обучения|обучения с учителем]], которое помимо размеченных данных для обучения также использует неразмеченные данные для тренировки {{---}} обычно небольшое количество размеченных данных и большое количество неразмеченных данныхв сравнительно большем количестве, чем размеченные.

Обучение с частичным привлечением учителя занимает промежуточное положение между обучением с учителем и без учителя. Когда получение достаточного количества размеченных данных затруднено (например, когда при разметке данных используются привлекаются дорогостоящие устройства или специально обученные людиквалифицированные лица), помимо размеченных данных можно также задействовать и неразмеченные данные для построения более эффективных моделей, по-сравнению с моделями, построенными с полным участием учителя или без него вовсе.

* Множество данных $X = \{x_1, x_2, ... , x_m\}$ и множество меток $Y = \{y_1, y_2, ... , y_my_l\}$

== ПредположенияОсновные предположения, используемые SSL ==

Более того, исходя из [[Транзитивное отношение|транзитивности]], если две точки связаны между собой точками из области высокой плотности (например, принадлежат одному [[Кластеризация|кластеру]]), то они также, вероятно, размечены одинаково. С другой стороны, предположение даёт преимущество для разграничения в регионах с низкой плотностью, там где меньше близко разположенных точек, но больше вероятность принадлежности к разным классам.

Допустим, что данные каждого из класса образуют [[Кластеризация|кластеры]]. Тогда Если использовать алгоритм кластеризации, используя размеченные данные для присвоения меток кластерам, тогда неразмеченные данные могут быть полезны в более точном нахождении границ этих кластеров, если использовать алгоритм кластеризации и использовать размеченные данные для присвоения меток кластерам.

'''[[File:Manifold Assumption''' {{---}} ''избыточность данных высокой размерности способствует понижению example.png|thumb|400px|Нелинейное снижение размерности(isomap) формирует томографическое предствление вариантов изображений трёхмерного объекта, используя два угловых параметра: азимут и высоту. Интерполяция изображений (A), экстраполяция (B) и аналогия (C) могут быть вычислены при помощи линейных операций в пространстве признаков.'']]

'''Manifold Assumption''' {{---}} ''избыточность данных высокой размерности способствует [[Уменьшение размерности|понижению размерности]].'' Это предположение применимо, когда измерения данных избыточны, то есть генерируются определенным процессом, имеющим только несколько степеней свободы. Иначе говоря, вместо использования предположения, что данные могут представлять из себя любые объекты из многомерного пространства (например, множество из всех возможных изображений размером 1 мегапиксель, включая белый шум), легче представить эти данные в пространстве более низкой размерности, исключая разными способами конфигурации пикселей, которые не характерны для конкретных данных. В этом случае неразмеченные данные позволяют изучить генерирующий процесс и за счёт этого снизить размерность, что упрощает, например, привязку предположения плавности. '''Пример''' Рассмотрим задачу обнаружения признаков на примере перцепции. Множество двухмерных отображений трёхмерного объекта со всех возможных углов обзора имеет весьма высокую размерность, будучи представленным в виде массивов изображений в памяти вычислительной машины; чёрно-белые картинки размером 32x32 пикселя можно понимать как точки 1024-мерного пространства углов обзора (пространство входных данных). Более значимая для перцепции структура (пространство признаков), однако, может гораздо более низкую размерность: эти же изображения могут лежать в 2-мерном многообразии, параметризованном с помощью углов обзора (см. иллюстрацию).  Другим примером задач, когда естественные данные являются избыточными, является [[Векторное представление слов|векторное представление слов]] и [[Обработка естественного языка|обработка естественного языка]].

* Часто используется в прикладных задачах, таких как процессинг [[Обработка естественного языка|обработка естественного языка]]

* Негативное влияние ошибочных прогнозов усиливается с обучением. В таком случае существуют эвристические решения, например "удаление" метки с объекта, достоверность прогноза которого оказалась ниже определённого порога* Трудно достичь сходимости алгоритма.  Однако, существуют частные случаи, когда самообучение эквивалентно работе [[EM-алгоритм|EM-алгоритмуалгоритма]], а также при использовании например его модификация под байесовский классификатор, использующий неразмеченные данные. Также у задач, использующих некоторые классы функций (например, линейныхлинейные), где известно решение существуют решения в виде сходящегося алгоритма.

* Не так сильна чувствительность к ошибочным прогнозам, по-сравнению с self-training

Генеративные модели в полуавтоматическом обучении можно рассматривать как расширение обучения с учителем (классификация и информация о $p(x)$, или как расширение обучения без учителя ([[File:S3VM-marginКластеризация|кластеризация]] и некоторые метки).pngОсновное предположение генеративных моделей заключается в том, что распределения принимают форму $p(x|thumb|300px|Зазорy, \theta)$, разделяющий неразмеченные данные]]параметризованную вектором $\theta$.

'''Идея'''* Интересующая величина: $p(X_l, Y_l, X_u|\theta) = \sum_{Y_u}p(X_l, Y_l, X_u, Y_u|\theta)$* Найти для $\theta$ оценку максимального правдоподобия, оценить апостериорный максимум или использовать [[Формула Байеса|теорему Байеса]].  '''Пример генеративной модели''' Параметры модели: $\theta = \big{\{}w_1, w_2, \mu_1, \mu_2, \sum_1, \sum_2\big{\}}$ Модель: $p(x, y|\theta) = p(y|\theta)p(x|y,\theta) = w_yN\big(x;\mu_y,\sum_y\big)$ Классификация:  $p(y|x,\theta) = \large{\frac{p(x,y|\theta)}{\sum_{y'}p(x,y'|\theta)}}$ Разберём пример двоичной классификации с использованием принципа максимального правдоподобия (''MLE'').  Размеченные данные имеют вид <br>$\log p(X_l, Y_l|\theta) = \sum\limits_{i = 1}^l \log p(y_i|\theta)p(x_i|y_i, \theta)$ <br>Здесь в качестве оценки MLE для $\theta$ возьмём тривиальные величины: частота, выборочное среднее, выборочная ковариация. Размеченные и неразмеченные данные: <br>$\log p(X_l, Y_l, X_u|\theta) = \sum\limits_{i = 1}^l \log p(y_i|\theta)p(x_i|y_i, \theta) + \sum\limits_{i = l+1}^{l+u} \log \big(\sum\limits_{y=1}^2 p(y|\theta)p(x_i|y, \theta)\big)$ <br>Теперь, с появлением скрытых переменных, оценка MLE теряет тривиальность, однако для поиска локального оптимума можно использовать [[EM-алгоритм|EM-алгоритм]]. '''Достоинства генеративных моделей''' * Гереативные модели очень эффективны, если составленная модель близка к правильной '''Недостатки''' * Трудно определить корректность модели* Неразмеченные данные могут навредить при использовании неверной генеративной модели === Полуавтоматические [[Метод опорных векторов (SVM)|опорные вектора]] (S3VM) === [[File:S3VM-margin.png|thumb|400px|Зазор, разделяющий неразмеченные данные]] Полуавтоматические SVM (англ. ''Semi-supervised SVMs'', ''S3VMs''), они же ''транстуктивные трансдуктивные SVM'' (TSVMs) решают задачу максимизации зазора (''margin'') между неразмеченными данными.

* Два класса $y \in \{+1, -1\}$

* Менее мощный подход, по-сравнению с алгоритмами на графах и генеративными моделями, т. е. потенциально менее эффективное обучение === Алгоритмы на основе [[Теория графов|графов]] === [[File:digits Euclidean.png|thumb|400px|Изображения рукописных цифр. <br>Слева {{---}} две цифры с большим евклидовым расстоянием, но одинаковой меткой класса. <br>Справа {{---}} те же цифры, "соединённые" неразмеченной последовательностью (путь в графе), где каждые две соседние цифры имеют малое евклидово расстояние.]]

=== Алгоритмы [[File:digits Euclidean graph.png|thumb|400px|Граф, построенный на основе графов ===множестве рукописных цифр "1" и "2".]]

** [[Метрический классификатор и метод ближайших соседей|$k$ ближайших соседей]]

* Низкая эффективность при плохом постоении построении графа