Модель алгоритма и её выбор — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
(Добавлены категории)
(Исправлены замечания)
Строка 1: Строка 1:
 
==Понятие модели==
 
==Понятие модели==
Пусть дана обучающая выборка <tex>(X, T)</tex>, где <tex> X </tex> {{---}} множество значений признаков, <tex> T </tex> {{---}} множество, содержащее для каждого элемента из X его классификацию.
+
Пусть дана обучающая выборка <tex>(X, Y)</tex>, где <tex> X </tex> {{---}} множество признаков, описывающих объекты, а <tex> Y </tex> {{---}} конечное множество меток.
  
 
Пусть множество всевозможных значений признаков <tex> \hat{X} </tex>, множество всевозможных классификаций <tex> \hat{T} </tex>.
 
Пусть множество всевозможных значений признаков <tex> \hat{X} </tex>, множество всевозможных классификаций <tex> \hat{T} </tex>.
  
Пусть задана функция <tex> f: \hat{X} -> W -> \hat{T} </tex>, где W - множество дополнительных параметров (весов) функции.
+
Пусть задана функция <tex> f: \hat{X} -> W -> \hat{T} </tex>, где <tex> W </tex> {{---}} множество дополнительных параметров (весов) функции.
  
 
Описанная выше функция <tex> f </tex> для фиксированного значения весов <tex> w \in W </tex> называется '''решающим правилом'''.
 
Описанная выше функция <tex> f </tex> для фиксированного значения весов <tex> w \in W </tex> называется '''решающим правилом'''.
Строка 24: Строка 24:
  
 
== Задача выбора модели ==
 
== Задача выбора модели ==
'''Выбрать модель''' {{---}} определить множество весов <tex> W </tex> и структуру решающего правила <tex> f(., .) </tex>
+
Пусть <tex> A </tex> {{---}} модель алгоритма, характеризующаяся гиперпараметрами <tex> \lambda = \{\lambda_1, ..., \lambda_m\}, \lambda_1 \in \Lambda_1, ..., \lambda_m \in \Lambda_m </tex>. Тогда с ней связано пространство гиперпараметров <tex> \Lambda = \Lambda_1 \times ... \times \Lambda_m </tex>. За <tex> A_{\lambda}</tex> обозначим алгоритм, то есть модель алгоритма, для которой задан вектор гиперпараметров <tex> \lambda \in \Lambda </tex>.
  
Пусть есть две модели <tex> M_1 = \{f_1(., w)| w \in W_1\} </tex> и <tex> M_2 = \{f_2(., w)| w \in W_2\} </tex>. Необходимо выбрать наилучшую модель из этих двух.
+
Для выбора наилучшего алгоритма необходимо зафиксировать меру качества работы алгоритма. Назовем эту меру <tex> Q(A_{\lambda}, D) </tex>.
  
Стоит отметить, что недостаточно обучить обе модели на обучающей выборке и выбрать ту, которая лучше работает на обучающей выборке, потому что лучшая работа может быть следствием переобучения. Также выбирать модель надо исходя из желаемого времени обучения и времени получения ответа - более сложная модель может давать более точные результаты, но работать значительно дольше более простой модели.
+
Задачу выбора наилучшего алгоритма можно разбить на две подзадачи: подзадачу выбора лучшего алгоритма из портфолио и подзадачу настройки гиперпараметров.
 +
 
 +
==== Подзадача выбора лучшего алгоритма из портфолио ====
 +
Дано некоторое множество алгоритмов с фиксированными структурными параметрами <tex> \mathcal{A} = \{A^1_{\lambda_1}, ..., A^m_{\lambda_m}\}</tex> и обучающая выборка <tex> D = \{d_1, ..., d_n\}</tex>. Здесь <tex> d_i = (x_i, y_i) \in (X, Y)</tex>. Требуется выбрать алгоритм <tex> A^*_{\lambda_*} </tex>, который окажется наиболее эффективным с точки зрения меры качества <tex> Q </tex>
 +
==== Подзадача оптимизации гиперпараметров ====
 +
Подзадача оптимизации гиперпараметров заключается в подборе таких <tex> \lambda^* \in \Lambda </tex>, при которых заданная модель алгоритма <tex> A </tex> будет наиболее эффективна.
 +
 
 +
Гиперпараметры могут выбираться из ограниченного множества или с помощью перебора из неограниченного множества гиперпараметров, это зависит от непосредственной задачи. Во втором случае актуален вопрос максимального времени, которое можно потратить на поиск наилучших гиперпараметров, так как чем больше времени происходит перебор, тем лучше гиперпараметры можно найти, но при этом может быть ограничен временной бюджет, из-за чего перебор придется прервать.
  
 
=== Методы выбора модели ===
 
=== Методы выбора модели ===
Строка 46: Строка 53:
 
# Проведение кросс-валидации требует значительного времени на многократное повторное обучение алгоритмов и применимо лишь для «быстрых» алгоритмов машинного обучения;
 
# Проведение кросс-валидации требует значительного времени на многократное повторное обучение алгоритмов и применимо лишь для «быстрых» алгоритмов машинного обучения;
 
# Кросс-валидация плохо применима в задачах кластерного анализа и прогнозирования временных рядов.
 
# Кросс-валидация плохо применима в задачах кластерного анализа и прогнозирования временных рядов.
 +
 +
==== Мета-обучение ====
 +
Целью мета-обучения является решение задачи выбора алгоритма из портфолио алгоритмов для решения поставленной задачи без непосредственного применения каждого из них. Решение этой задачи в рамках мета-обучения сводится к задаче обучения с учителем. Для этого используется заранее отобранное множество наборов данных <tex> D </tex>. Для каждого набора данных <tex> d \in D </tex> вычисляется вектор мета-признаков, которые описывают свойства этого набора данных. Ими могут быть: число категориальных или численных признаков объеков в <tex> d </tex>, число возможных меток, размер <tex> d </tex> и многие другие. Каждый алгоритм запускается на всех наборах данных из <tex> D </tex>. После этого вычисляется эмпирический риск, на основе которого формируются метки классов. Затем мета-классификатор обучается на полученных результатах. В качестве описания набора данных выступает вектор мета-признаков, а в качестве метки — алгоритм, оказавшийся самым эффективным с точки зрения заранее выбранной меры качества.
 +
 +
Достоинства и недостатки мета-обучения:
 +
# Алгоритм, обучающийся большое время, запускается меньшее количество раз, что сокращает время работы;
 +
# Точность алгоритма может быть ниже, чем при кросс-валидации.
  
 
==== Теория Вапника-Червоненкиса ====
 
==== Теория Вапника-Червоненкиса ====
Строка 80: Строка 94:
 
# [http://www.machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B0%D0%B7%D0%BC%D0%B5%D1%80%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%92%D0%B0%D0%BF%D0%BD%D0%B8%D0%BA%D0%B0-%D0%A7%D0%B5%D1%80%D0%B2%D0%BE%D0%BD%D0%B5%D0%BD%D0%BA%D0%B8%D1%81%D0%B0 Теория Вапника-Червоненкинса]
 
# [http://www.machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B0%D0%B7%D0%BC%D0%B5%D1%80%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%92%D0%B0%D0%BF%D0%BD%D0%B8%D0%BA%D0%B0-%D0%A7%D0%B5%D1%80%D0%B2%D0%BE%D0%BD%D0%B5%D0%BD%D0%BA%D0%B8%D1%81%D0%B0 Теория Вапника-Червоненкинса]
 
# [https://en.wikipedia.org/wiki/Cross-validation_(statistics) Кросс-валидация]
 
# [https://en.wikipedia.org/wiki/Cross-validation_(statistics) Кросс-валидация]
 +
# [https://link.springer.com/article/10.1023/B:MACH.0000015878.60765.42 Мета-обучение]
 +
# [https://www.ml4aad.org/wp-content/uploads/2018/07/automl_book_draft_auto-weka.pdf Автоматизированный выбор модели в библиотеке WEKA для Java]
 +
# [https://epistasislab.github.io/tpot/ Автоматизированный выбор модели в библиотеке TPOT для Python]
 +
# [https://automl.github.io/auto-sklearn/stable/ Автоматизированный выбор модели в библиотеке sklearn для Python]
 
== Источники информации ==
 
== Источники информации ==
 
# [http://www.machinelearning.ru/wiki/images/0/05/BMMO11_4.pdf Выбор модели] - презентация на MachineLearning.ru
 
# [http://www.machinelearning.ru/wiki/images/0/05/BMMO11_4.pdf Выбор модели] - презентация на MachineLearning.ru
 
# [https://en.wikipedia.org/wiki/Hyperparameter_(machine_learning) Гиперпараметры] - статья на Википедии
 
# [https://en.wikipedia.org/wiki/Hyperparameter_(machine_learning) Гиперпараметры] - статья на Википедии
 
# [https://machinelearningmastery.com/difference-between-a-parameter-and-a-hyperparameter/ Разница между параметрами и гиперпараметрами] - описание разницы между параметрами и гиперпараметрами модели
 
# [https://machinelearningmastery.com/difference-between-a-parameter-and-a-hyperparameter/ Разница между параметрами и гиперпараметрами] - описание разницы между параметрами и гиперпараметрами модели
 +
# [http://jmlda.org/papers/doc/2016/no2/Efimova2016Reinforcement.pdf Применение обучения с подкреплением для одновременного выбора модели алгоритма классификации и ее структурных параметров]
  
 
[[Категория: Машинное обучение]]
 
[[Категория: Машинное обучение]]
  
 
[[Категория: Модель алгоритма и ее выбор]]
 
[[Категория: Модель алгоритма и ее выбор]]

Версия 19:44, 14 января 2019

Понятие модели

Пусть дана обучающая выборка [math](X, Y)[/math], где [math] X [/math] — множество признаков, описывающих объекты, а [math] Y [/math] — конечное множество меток.

Пусть множество всевозможных значений признаков [math] \hat{X} [/math], множество всевозможных классификаций [math] \hat{T} [/math].

Пусть задана функция [math] f: \hat{X} -\gt W -\gt \hat{T} [/math], где [math] W [/math] — множество дополнительных параметров (весов) функции.

Описанная выше функция [math] f [/math] для фиксированного значения весов [math] w \in W [/math] называется решающим правилом.

Модель — это совокупность всех решающих правил, которые получаются путем присваивания весам всех возможных допустимых значений.

Формально модель [math] M = \{f(., w)| w \in W\} [/math].

Модель определяется множеством допустимых весов [math] W [/math] и структурой решающего правила [math] f(.,.) [/math]

Понятие гиперпараметров модели

Гиперпараметры модели — это параметры, значения которых задается до начала обучения модели и не изменяется в процессе обучения. У модели может не быть гиперпараметров.

Параметры модели — это параметры, которые изменяются и оптимизируются в процессе обучения модели и итоговые значения этих параметров являются результатом обучения модели.

Примерами гиперпараметров могут служить количество слоев нейронной сети, а также количество нейронов на каждом слое. Примерами параметров могут служить веса ребер нейронной сети.

Для нахождения оптимальных гиперпараметров модели могут применяться различные алгоритмы настройки гиперпараметров[на 08.01.19 не создан].

Задача выбора модели

Пусть [math] A [/math] — модель алгоритма, характеризующаяся гиперпараметрами [math] \lambda = \{\lambda_1, ..., \lambda_m\}, \lambda_1 \in \Lambda_1, ..., \lambda_m \in \Lambda_m [/math]. Тогда с ней связано пространство гиперпараметров [math] \Lambda = \Lambda_1 \times ... \times \Lambda_m [/math]. За [math] A_{\lambda}[/math] обозначим алгоритм, то есть модель алгоритма, для которой задан вектор гиперпараметров [math] \lambda \in \Lambda [/math].

Для выбора наилучшего алгоритма необходимо зафиксировать меру качества работы алгоритма. Назовем эту меру [math] Q(A_{\lambda}, D) [/math].

Задачу выбора наилучшего алгоритма можно разбить на две подзадачи: подзадачу выбора лучшего алгоритма из портфолио и подзадачу настройки гиперпараметров.

Подзадача выбора лучшего алгоритма из портфолио

Дано некоторое множество алгоритмов с фиксированными структурными параметрами [math] \mathcal{A} = \{A^1_{\lambda_1}, ..., A^m_{\lambda_m}\}[/math] и обучающая выборка [math] D = \{d_1, ..., d_n\}[/math]. Здесь [math] d_i = (x_i, y_i) \in (X, Y)[/math]. Требуется выбрать алгоритм [math] A^*_{\lambda_*} [/math], который окажется наиболее эффективным с точки зрения меры качества [math] Q [/math]

Подзадача оптимизации гиперпараметров

Подзадача оптимизации гиперпараметров заключается в подборе таких [math] \lambda^* \in \Lambda [/math], при которых заданная модель алгоритма [math] A [/math] будет наиболее эффективна.

Гиперпараметры могут выбираться из ограниченного множества или с помощью перебора из неограниченного множества гиперпараметров, это зависит от непосредственной задачи. Во втором случае актуален вопрос максимального времени, которое можно потратить на поиск наилучших гиперпараметров, так как чем больше времени происходит перебор, тем лучше гиперпараметры можно найти, но при этом может быть ограничен временной бюджет, из-за чего перебор придется прервать.

Методы выбора модели

Методы выбора модели — алгоритмы, позволяющие проводить автоматический выбор модели.

Кросс-валидация

Алгоритм кросс-валидации работает следующим образом:

  1. Обучающая выборка разбивается на [math] k [/math] непересекающихся одинаковых по объему частей;
  2. Производится [math] k [/math] итераций. На каждой итерации происходит следующее:
    1. Модель обучается на [math] k - 1 [/math] части обучающей выборки;
    2. Модель тестируется на части обучающей выборки, которая не участвовала в обучении;
  3. В результате можно посчитать различные метрики, показывающие, насколько модель удачная, например, среднюю ошибку на частях, которые не участвовали в обучающей выборке.

Таким образом эмулируется наличие тестовой выборки, которая не участвует в обучении, но для которой известны правильные ответы.

Достоинства и недостатки кросс-валидации:

  1. Ошибка в процедуре кросс-валидации является достаточно точной оценкой ошибки на генеральной совокупности;
  2. Проведение кросс-валидации требует значительного времени на многократное повторное обучение алгоритмов и применимо лишь для «быстрых» алгоритмов машинного обучения;
  3. Кросс-валидация плохо применима в задачах кластерного анализа и прогнозирования временных рядов.

Мета-обучение

Целью мета-обучения является решение задачи выбора алгоритма из портфолио алгоритмов для решения поставленной задачи без непосредственного применения каждого из них. Решение этой задачи в рамках мета-обучения сводится к задаче обучения с учителем. Для этого используется заранее отобранное множество наборов данных [math] D [/math]. Для каждого набора данных [math] d \in D [/math] вычисляется вектор мета-признаков, которые описывают свойства этого набора данных. Ими могут быть: число категориальных или численных признаков объеков в [math] d [/math], число возможных меток, размер [math] d [/math] и многие другие. Каждый алгоритм запускается на всех наборах данных из [math] D [/math]. После этого вычисляется эмпирический риск, на основе которого формируются метки классов. Затем мета-классификатор обучается на полученных результатах. В качестве описания набора данных выступает вектор мета-признаков, а в качестве метки — алгоритм, оказавшийся самым эффективным с точки зрения заранее выбранной меры качества.

Достоинства и недостатки мета-обучения:

  1. Алгоритм, обучающийся большое время, запускается меньшее количество раз, что сокращает время работы;
  2. Точность алгоритма может быть ниже, чем при кросс-валидации.

Теория Вапника-Червоненкиса

Идея данной теории заключается в следующем: чем более «гибкой» является модель, тем хуже ее обобщающая способность. Данная идея базируется на том, что «гибкое» решающее правило способно настраиваться на малейшие шумы, содержащиеся в обучающей выборке.

Емкость модели для задачи классификации — максимальное число объектов обучающей выборки, для которых при любом их разбиении на классы найдется хотя бы одно решающее правило, безошибочно их классифицирующее.

По аналогии емкость обобщается на другие задачи машинного обучения.

Очевидно, что чем больше емкость, тем более «гибкой» является модель и, соответственно, тем хуже. Значит нужно добиваться минимально возможного количества ошибок на обучении при минимальной возможной емкости.

Существует формула Вапника, связывающая ошибку на обучении [math] P_{train}(w) [/math], емкость [math] h(W) [/math] и ошибку на генеральной совокупности [math] P_{test}(w) [/math]:

[math] P_{test}(w) \lt = P_{train}(w) + \sqrt{\frac{h(W) * (\log{(\frac{2d}{h(W)})} + 1) - \log{(\frac{\eta}{4})}}{n}} [/math], где [math] d [/math] — размерность пространства признаков.

Неравенство верно с вероятностью [math] 1 - \eta [/math] [math] \forall w \in W [/math]

Алгоритм выбора модели согласно теории Вапника-Червоненкиса: Последовательно анализируя модели с увеличивающейся емкостью, необходимо выбирать модель с наименьшей верхней оценкой тестовой ошибки.

Достоинства теории Вапника-Червоненкиса:

  1. Серьезное теоретическое обоснование, связь с ошибкой на генеральной совокупности;
  2. Теория продолжает развиваться и в наши дни.

Недостатки теории Вапника-Червоненкиса:

  1. Оценки ошибки на генеральной совокупности сильно завышены;
  2. Для большинства моделей емкость не поддается оценке;
  3. Многие модели с бесконечной емкостью показывают хорошие результаты на практике.

См. также

Примечания

  1. Теория Вапника-Червоненкинса
  2. Кросс-валидация
  3. Мета-обучение
  4. Автоматизированный выбор модели в библиотеке WEKA для Java
  5. Автоматизированный выбор модели в библиотеке TPOT для Python
  6. Автоматизированный выбор модели в библиотеке sklearn для Python

Источники информации

  1. Выбор модели - презентация на MachineLearning.ru
  2. Гиперпараметры - статья на Википедии
  3. Разница между параметрами и гиперпараметрами - описание разницы между параметрами и гиперпараметрами модели
  4. Применение обучения с подкреплением для одновременного выбора модели алгоритма классификации и ее структурных параметров