Изменения

Перейти к: навигация, поиск
Симметричный SNE
Очевидным образом определяется <tex>q_{i j}</tex>: <br />
<tex>q_{i j} = \frac {\exp { -{\left\Vert y_i - y_j \right\Vert}^2 } } {\sum\limits_{k \neq l} \exp { -{\left\Vert y_k - y_l \right\Vert}^2 } }</tex>, <br />
но то же решение для <tex>p_{i j}</tex> привело бы к проблеме, что для [[Выброс|выброса ]] <tex>x_i</tex> <tex>p_{i j}</tex> будет очень маленькой для любого <tex>x_j</tex>, таким образом будет почти нулевой соответствующая дивергенция Кульбака-Лейблера для любого распределения <tex>q_{i j}</tex>. Это означало бы, что положение точки <tex>y_i</tex> определялось бы очень неточно относительно положения других точек. Поэтому в t-SNE <tex>p_{i j}</tex> определили как: <br />
<tex>p_{i j} = \frac {p_{i|j} + p_{i|j} } {2|X|}</tex>. <br />
Очевидный плюс такого определения в том, что <tex>\sum\limits_j p_{i j} > \frac 1 {2|X|}</tex> для всех точек, что хорошо скажется на выбросах. А также теперь <tex>p_{i j} = p_{j i}</tex>, <tex>q_{i j} = q_{j i}</tex>. Авторами утверждается, что симметричный SNE вкладывает данные в низкоразмерное пространство почти также как и ассимитричныйассиметричный, а иногда даже лучше.
Градиент при таком подходе принимает вид:
Анонимный участник

Навигация