Изменения

:Энтропия классификации на объекте $x$:

:$\Phi_{ENT}(x) = - \sum\limits_y{P(y | x) \log{P(y | x)}}$.

:Чем больше энтропия {{---}} тем больше неуверенность в классификации.

:Отступ (англ. ''margin'') от $y_1$ {{---}} самого вероятного класса до $y_2$ {{---}} второго по вероятности класса:

:$\Phi_{M}(x) = P(y_1 | x) - P(y_2 | x)$.

:Очевидно, что если отступ велик, то велика и уверенность, потому что один класс заметно выигрывает у всех остальных. Поэтому имеет смысл запрашивать оракула на объектах с минимальным отступом.

:Функция неуверенности:

:$\Phi_{LC}(x) = 1 - P(y_1 | x)$,

:$y_1$ {{---}} наиболее вероятный класс. Интересующие нас объекты {{---}} объекты с минимальной уверенностью, то есть с максимальным $\Phi_{LC}$.