Изменения

Перейти к: навигация, поиск

Стохастическое вложение соседей с t-распределением

Нет изменений в размере, 04:09, 24 января 2020
Симметричное стохастическое вложение соседей
Теперь определим похожие вероятности <tex>q_{i|j}</tex> для пространства низкой размерности, куда вкладываются точки пространства высокой размерности.
<tex>q_{j|i} = \dfrac{\exp{(-{\left\Vert y_i - y_j \right\Vert}^2)}}{\sum\limits_{k \neq i}\exp{({-\left\Vert x_i y_i - x_k y_k \right\Vert}^2)}}</tex>.
Данные вероятности получаются из тех же самых предложений, что были сделаны для пространства высокой размерности, за исключением того, что все распределения Гаусса имеют стандартное отклонение <tex>\dfrac{1}{\sqrt{2}}</tex> для всех точек.
<tex>KL(P \Vert Q) = \sum\limits_j p_j \log_2 \dfrac{p_j}{q_j}</tex>.
В данном случае имеем <tex>|X|</tex> распределений. Тогда целевую функцию<ref>[https://ru.wikipedia.org/wiki/Целевая_функция Целевая функция]</ref>, который которую будем оптимизировать, определим как сумму соответствующих дивергенций Кульбака-Лейблера. То есть:
<tex>C = \sum\limits_i KL(p_i \Vert q_i) = \sum\limits_i \sum\limits_j p_{j|i} \log_2 \dfrac{p_{j|i}}{q_{j|i}}</tex>.
Таким образом, в симметричном SNE в качестве <tex>p_{i j}</tex> рассматривается следующая величина:
<tex>p_{i j} = \dfrac {p_{i|j} + p_{j|i|j} } {2|X|}</tex>.
Очевидный плюс в том, что <tex>\sum\limits_j p_{i j} > \dfrac 1 {2|X|}</tex> для всех точек, что хорошо скажется на выбросах. А также теперь <tex>p_{i j} = p_{j i}</tex>, <tex>q_{i j} = q_{j i}</tex>.
Анонимный участник

Навигация