Изменения

''AЭто определение не выдерживает критики, так как не понятно, что означает наречие "явно". Более точное определение дал намного позже Т.LМ. Samuel Митчелл. <ref>[https://www.cs.ubbcluj.ro/~gabis/ml/ml-books/McGrawHill%20-%20Machine%20Learning%20-Tom%20Mitchell.pdf T.M. Mitchell "Some Studies in Machine Learning Using the Game of Checkers" (IBM Journal. July 1959. P. 210–229McGraw-Hill, 1997)'']</ref>

Говорят, что компьютерная Компьютерная '''программа учитсяобучается''' на опыте основе опыта $E$ относительно некоторой задачи по отношению к некоторому классу задач $T$ и некоторой меры производительности качества $P$, если ее производительность на качество решения задач из $T$, измеренная измеренное на основе $P$, улучшается с опытом приобретением опыта $E$.

$Y$ {{---}} множество ответов меток классов (англ. '''label set''', or ''output set'') <br />$y ∶ \hat y∶ X → Y$ {{---}} неизвестная зависимость (англ. '''unknown target function''' ''(dependency)'') <br />

'''Дано''' <br />${x_1, . . . , x_l} ⊂ X$ {{---}} обучающая выборка (англ. ''training sample set'') <br />$y_i = \hat y(x_i), i = 1, . . . , l $ {{---}} известные метки классов <br />'''Найти''' <br />Найти $ a ∶ X → Y $ {{---}} алгоритм, решающую функцию (англ. '''decision function'''), приближающую $y$ на всём множестве $X$.=== Признаки ===Компьютер всегда имеет дело с признаковым описанием объектов. ''Например:,'' пациента можно описать признаками: имя, возраст, номер полиса, жалобы, давление, температура, результаты анализов. <br />

* бинарный (''binary''): $D_j = \{0, 1\}$;* номинальный , или категориальный (''categorical): $D_j$ конечно;* упорядоченный (''ordinal''): $D_j$ конечно и упорядоченно;* количественный числовой (''numerical''): $D_j = \mathbb{R}$. т.е. объект представляется как набор признаков $(f_1(x),... ,f_n(x))$. Данные обычно представляются в виде матрицы объектов-признаков

  ---- === Типы задач ==='''ДаноКлассификация''' (англ. ''classification'') <br />* $Y = \{−1, +1\}$ — классификация на 2 класса;* $Y = \{x_11, . . . , x_lM\} ⊂ X$ — на $M$ непересекающихся классов;* $Y = \{0, 1\}^M$— на $M$ классов, которые могут пересекаться. <br/> ''Цель'': научиться определять, к какому классу принадлежит объект. <br/>''Примеры'': распознавание текста по рукописному вводу; определение того, находится на фотографии человек или кот; определение, является ли письмо спамом. <br/>''Методы'': [[Метрический классификатор и метод ближайших соседей|метод ближайших соседей]], [[Дерево решений и случайный лес|дерево решений]], [[Логистическая регрессия|логистическая регрессия]], [[Метод опорных векторов (SVM)|метод опорных векторов]], [[Байесовская классификация|байесовский классификатор]], [[Сверточные нейронные сети|cверточные нейронные сети]]. '''Восстановление регрессии''' (англ. ''regression'') <br/>* $Y = \mathbb{R}$ или $Y = \mathbb{R}^m$. <br/> ''Цель'': получать прогноз на основе выборки объектов. <br/>''Примеры'': предсказание стоимости акции через полгода; предсказание прибыли магазина в следующем месяце; предсказание качества вина на слепом тестировании. <br/>''Методы'': [[Линейная регрессия|линейная регрессия]], [[Дерево решений и случайный лес|дерево решений]], [[Метод опорных векторов (SVM)|метод опорных векторов]]. '''Ранжирование''' (англ. ''ranking'') <br/>{{main|Ранжирование}}* $Y$ {{---}} обучающая выбока конечное упорядоченное множество. <br/> ''Цель'': научиться по множеству объектов получать множество рейтингов, упорядоченное согласно заданному отношению порядка. <br/>''Примеры'': выдача поискового запроса; подбор интересных новостей для пользователя. <br/>''Методы'': [[Ранжирование#Поточечный подход|поточечный подход]], [[Ранжирование#Попарный подход|попарный подход]], [[Ранжирование#Списочный подход|списочный подход]]. '''Кластеризация''' (англ. ''training sample setclustering'') <br />$y_i = y{{main|Кластеризация}}''Цель'': разбить множество объектов на подмножества (x_i'''кластеры''')таким образом, i = 1чтобы объекты из одного кластера были более похожи друг на друга, чем на объекты из других кластеров по какому-либо критерию. <br/>''Примеры'': разбиение клиентов сотового оператора по платёжеспособности; разбиение космических объектов на похожие (галактики, планеты, звезды). <br/>''Методы'': [[Иерархическая кластеризация|иерархическая кластеризация]], [[Эволюционные алгоритмы кластеризации|эволюционные алгоритмы кластеризации]], [[EM-алгоритм]]. , l $ {{ ---- === Вспомогательные типы задач === '''Уменьшение размерности''' (англ. ''dimensionality reduction'') <br/>{{main|Уменьшение размерности}} известные ответы  ''Цель'': научиться описывать данные не $N$ признаками, а меньшим числом для повышения точности модели или последующей визуализации. <br />''Примеры'': визуализация в двумерном или трехмерном пространстве; сжатие данных. <br/>''Методы'': [[Вариации регрессии#Гребневая регрессия (ридж-регрессия)|гребневая регрессия]], [[Вариации регрессии#Лассо-регрессия|лассо-регрессия]], [[Метод главных компонент (PCA)|метод главных компонент]], [[Стохастическое вложение соседей с t-распределением|стохастическое вложение соседей с t-распределением]]. '''Выявление аномалий''' (англ. 'Найти'anomaly detection'' )<br />Найти $ a ∶ X → Y $ {{main|Выброс}}''Цель'': научиться выявлять аномалии в данных. Отличительная особенность задачи от классификации {{---}} алгоритмпримеров аномалий для тренировки модели очень мало, решающую функцию (англлибо нет совсем; поэтому для ее решения необходимы специальные методы. <br/>''Примеры'decision function': определение мошеннических транзакций по банковской карте; обнаружение событий, предвещающих землетрясение. <br/>''Методы')': [[Выброс#Методы обнаружения выбросов|экстремальный анализ данных, аппроксимирующий метод, приближающую $y$ на всём множестве $X$проецирующие методы]].

==== Обучение с учителем (англ. ''Supervised learning''<ref> [http://www.machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81_%D1%83%D1%87%D0%B8%D1%82%D0%B5%D0%BB%D0%B5%D0%BC Обучение с учителем]</ref>) ====Метки классов $y_i$ доступны все сразу (известны ответы для поставленной задачи).<br/>''Задачи, которые могут решаться этим способом:'' классификация, регрессия. ==== Обучение без учителя (англ. ''Unsupervised learning'') ====Изучает широкий класс задач обработки данных, в которых известны только описания множества объектов (обучающей выборки), и требуется обнаружить внутренние взаимосвязи, зависимости, закономерности, существующие между объектами. Т.е. тренировочные данные доступны все сразу, но ответы для поставленной задачи неизвестны.  ''Задачи, которые могут решаться этим способом:'' кластеризация, нахождение ассоциативных правил, выдача рекомендаций (например, реклама), уменьшение размерности датасета, [[Обработка естественного языка|обработка естественного языка]]. ==== Обучение с частичным привлечением учителя (англ. ''Semi-supervised learning''<ref>[http://www.machinelearning.ru/wiki/index.php?title=%D0%A7%D0%B0%D1%81%D1%82%D0%B8%D1%87%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5 Semi-supervised learning]</ref>) ======= {{main|Обучение с подкреплением частичным привлечением учителя}}Занимает промежуточное положение между обучением с учителем и без учителя. Каждый прецедент представляет собой пару «объект, ответ», но ответы известны только на части прецедентов (англРазмечено мало, либо малоинформативная часть). <br/>''Reinforcement learningПримером частичного обучения может послужить сообучение:'') два или более обучаемых алгоритма используют один и тот же набор данных, но каждый при обучении использует различные — в идеале некоррелирующие — наборы признаков объектов. ====== Активное обучение Обучение с подкреплением (англ. ''Active Reinforcement learning'') ======= {{main|Обучение с подкреплением}}Частный случай обучения с учителем, сигналы подкрепления (правильности ответа) выдаются не учителем, а некоторой средой, с которой взаимодействует программа. Размеченность данных зависит от среды. Окружение обычно формулируется как [http://en.wikipedia.org/wiki/Markov_decision_process марковский процесс принятия решений] (МППР) с конечным множеством состояний, и в этом смысле алгоритмы обучения с подкреплением тесно связаны с динамическим программированием. Вероятности выигрышей и перехода состояний в МППР обычно являются величинами случайными, но стационарными в рамках задачи. При обучении с подкреплением, в реальном времени отличие от обучения с учителем, не предоставляются верные пары "входные данные-ответ", а принятие субоптимальных решений (дающих локальный экстремум) не ограничивается явно. Обучение с подкреплением пытается найти компромисс между исследованием неизученных областей и применением имеющихся знаний (англ. ''Online learningexploration vs exploitation tradeoff'') . ====== Структурное предсказание Активное обучение (англ. ''Structured predictionActive learning'') ===={{main|Активное обучение}}Отличается тем, что обучаемый имеет возможность самостоятельно назначать следующий прецедент, который станет известен. Применяется когда получение истиной метки для объекта затруднительно. Поэтому алгоритм должен уметь определять, на каких объектах ему надо знать ответ,чтобы лучше всего обучиться, построить наилучшую модель. === Выбор модели и валидация = Обучение в реальном времени (англ. ''Model selection and validationOnline learning'') ===={{main|Обучение в реальном времени}}Может быть как обучением с учителем, так и без учителя. Специфика в том, что тренировочные данные поступают последовательно. Требуется немедленно принимать решение по каждому прецеденту и одновременно доучивать модель зависимости с учётом новых прецедентов. Здесь существенную роль играет фактор времени.

Supervised learningA set of examples with answers is givenНа стадии обучения производится синтез и отбор информативных признаков и определяется, сколько баллов назначать за каждый признак, чтобы риск принимаемых решений был минимален. Чем выше суммарное число баллов заёмщика, набранных по совокупности информативных признаков, тем более надёжным считается заёмщик. Arule for giving answers for all possible* '''Задачи медицинской диагностики''' <br/>examples is required:• classification;• regression;• learning to rank;• forecastingВ роли ''объектов'' выступают пациенты. Признаки характеризуют результаты обследований, симптомы заболевания и применявшиеся методы лечения.

Unsupervised learningA set of examples without answers is givenПризнаковое описание пациента является, по сути дела, формализованной историей болезни.A rule for finding answers or some regularity is requiredНакопив достаточное количество данных, можно решать различные задачи:• clustering* классифицировать вид заболевания (дифференциальная диагностика);• association rules learning* определять наиболее целесообразный способ лечения;• recommender systems*предсказывать длительность и исход заболевания;• dimension reduction*оценивать риск осложнений;*находить наиболее характерные для данного заболевания совокупности симптомов.

How are the objects described?== Открытые наборы данных для обучения =={{main|Известные наборы данных|l1=Известные наборы данных}}==== Компьютерное зрение ====f j ∶ X → D j * [https://pjreddie.com/projects/mnist-in-csv/ MNIST]: один из самых востребованных наборов для проверки работоспособности. Есть датасеты 25x25, j = 1отцентрованные, рукописные чёрно-белые цифры;* [https://www.cs.toronto. , n are features or attributesedu/~kriz/cifar.Feature typeshtml CIFAR10 & CIFAR100]:• binary: D j = 0цветные изображения 32x32. Сегодня используется нечасто, 1 но может быть хорошим вариантов для проверки работоспособности;• categorical* [http: D j is finite;• ordinal//image-net.org/ ImageNet]: D j is finite and ordered;• numerical: D j = Rдатасет изображений для проверки новых алгоритмов.

#*[https://en.wikipedia.org/wiki/Machine_learning WikiWikipedia {{---}} Machine learning] $-$ Машинное обучение#*[http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29 Курс machinelearning.ru {{---}} Машинное обучение (курс лекций, К.В.ВоронцоваВоронцов)]*[https://newtonew.com/tech/machine-learning-novice Машинное обучение для чайников]*[https://golos.io/ru--programmirovanie/@randall/kak-ii-nauchit-vsemu-luchshie-otkrytye-nabory-dannykh-dlya-obucheniya Лучшие наборы данных для обучения]