52
правки
Изменения
Нет описания правки
* '''Синтез объектов''' (англ. ''Query synthesis''). Вместо использования заранее заданных объектов, алгоритм сам конструирует объекты и подает их на вход оракулу. Например, если объекты - это вектора в n-мерном пространстве, разделенные гиперплоскостью и решается задача бинарной классикации, имеет смысл давать оракулу на вход синтезированные вектора, близкие к границе.
== Метод Uncertainty Sampling Методы выбора объектов для запросов ==
=== Выбор по степени неуверенности === Выбор по степени неуверенности (англ. ''Uncertainty Sampling '') - метод отбора объектов из выборки, где самыми информативными объектами считаются те, на которых текущий алгоритм меньше всего уверен в верности классификации. Для этого необходимо задать меру неуверенности в классификации на каждом объекте.
Зафиксируем модель на некотором этапе обучения и обозначим за $P(y | x)$ вероятность того, что объект $x$ принадлежит классу $y$. Приведем основные меры неуверенности для текущей классификации:
$\Phi_{LC}(x) = 1 - P(y_1 | x)$, где $y_1$ - наиболее вероятный класс. Интересующие нас объекты - объекты с минимальной уверенностью.
Заметим, что в случае бинарной классификации эти методы эквивалентны. == = Сэмплирование по несогласию в комитете (англ. ''QueryBy Comittee'') === В данном методе алгоритм оперирует не одной моделью, а сразу несколькими, которые формируют комитет. Каждая из моделей обучена на размеченном множестве и принимает участие в общем голосовании на неразмеченных объектах. Идея состоит в том, что те объекты, на которых модели более всего расходятся в своих решениях, являются самыми информативными. Множество моделей -by-comitee $A^T = \{a_1, .., a_T\}$ Алгоритм выбирает те объекты, на которых достигается максимум энтропии: $x_{informative} = \argmin\limits_x{P(y | x) \log{P(y | x)}}$ Здесь $P(y | x) = \dfrac{1}{T} \sum\limits_{a \in A^T}{[a(x) = y]}$ === Version Space Reduction ===
== Ссылки ==
* [https://www.cs.cmu.edu/~tom/10701_sp11/recitations/Recitation_13.pdf Microsoft Active Learning Presentation]
* [https://www.youtube.com/watch?v=QQaEnOlX9gA&list=PLJOzdkh8T5kp99tGTEFjH_b9zqEQiiBtC&index=17 Школа Анализа Данных. Активное обучение]
* [http://www.machinelearning.ru/wiki/images/6/6b/Voron-ML-AL-slides.pdf К.В. Воронцов. Активное обучение]
