52
правки
Изменения
Нет описания правки
[[Файл:Alal_russian.jpeg jpg | справа | 480пкс |мини| right| [https://intellect.icu/aktivnoe-obuchenie-active-learning-v-mashinnom-obuchenii-i-iskusstvennom-intellekte-120 оригинал]Схема отбора из выборки в активном обучении]]
'''Активное обучение''' (англ. ''Active learning'') {{---}} область машинного обучения, где алгоритм взаимодействует с некоторым источником информации, или '''оракулом''', способным размечать запрошенные данные.
Зачастую обращение к оракулу затратно по времени или другим ресурсам, и требуется решить задачу, минимизируя количество обращений к оракулу.
Для вызова оракула обычно необходимо привлечение человеческих ресурсовлюдей. В этой роли может выступать эксперт, размечающий текстовые документы, изображения или видеозаписи. Помимо временных затрат могут быть возникнуть и значительные финансовые, например, исследование химического соединения или реакции.
В связи с этим одной из центральных задач активного обучения становится '''отбор объектов''' (англ. ''Sampling'') {{---}} выбор тех объектов, которые следует отправить оракулу для получения достоверной информации об их классификации. От грамотности отбора зависит время работы алгоритма, качество классификации и затраты на внешние ресурсы.
На каждой итерации алгоритм фиксирует три множества:
== Основные стратегии ==
* '''Максимальная энтропия''' (англ. ''Maximum Entropy'')
:Энтропия классификации на объекте $x$:
:$\Phi_{ENT}(x) = - \sum\limits_y{P(y | x) \log{P(y | x)}}$.
:Чем больше энтропия {{---}} тем больше неуверенность в классификации.
* '''Минимальный отступ''' (англ. ''Smallest Margin'')
:Отступ (англ. ''margin'') от $y_1$ {{---}} самого вероятного класса до $y_2$ {{---}} второго по вероятности класса:
:$\Phi_{M}(x) = P(y_1 | x) - P(y_2 | x)$.
:Очевидно, что если отступ велик, то велика и уверенность, потому что один класс заметно выигрывает у всех остальных. Поэтому имеет смысл запрашивать оракула на объектах с минимальным отступом.
* '''Минимальная уверенность''' (англ. ''Least Confidence'')
:Функция неуверенности:
:$\Phi_{LC}(x) = 1 - P(y_1 | x)$,
:$y_1$ {{---}} наиболее вероятный класс. Интересующие нас объекты {{---}} объекты с минимальной уверенностью, то есть с максимальным $\Phi_{LC}$.
Заметим, что в случае бинарной классификации эти методы эквивалентны.
