20
правок
Изменения
Нет описания правки
'''Стохастическое вложение соседей с t-распределением''' (англ. ''t-Distributed Stochastic Neighbor Embedding, t-SNE'') {{---}} метод визуализации данных высокой размерности с помощью представления каждой точки данных в двух или трехмерном пространстве, являющийся модификацией метода стохастического вложения соседей.
[[Файл:MNIST_compression_methods_comparison.png|300px|thumb|right|Пример работы методов [[Стохастическое вложение соседей с t-распределением|t-SNE]], Isomap<ref>[https://en.wikipedia.org/wiki/Isomap Isomap]</ref>, Sammon mapping<ref>[https://en.wikipedia.org/wiki/Sammon_mapping Sammon mapping]</ref>, LLE <ref>[https://en.wikipedia.org/wiki/Nonlinear_dimensionality_reduction#Manifold_learning_algorithms Manifold learning algorithms]</ref> на наборе данных [[Известные наборы данных|MNIST]]]]
== Стохастическое вложение соседей ==
<tex>q_{i j} = \dfrac {\exp ({ -{\left\Vert y_i - y_j \right\Vert}^2 }) } {\sum\limits_{k \neq l} \exp ({ -{\left\Vert y_k - y_l \right\Vert}^2) } }</tex>,
но то же решение для <tex>p_{i j}</tex> привело бы к проблеме, что для [[Выброс|выброса]] <tex>x_i</tex> <tex>p_{i j}</tex> будет очень маленькой для любого <tex>x_j</tex>, таким образом будет почти нулевой соответствующая дивергенция Кульбака-Лейблера для любого распределения <tex>q_{i j}</tex>. Это означало бы, что положение точки <tex>y_i</tex> определялось бы очень неточно относительно положения других точек и не было бы особой разницы в том, где она расположена. Поэтому в t-симметричном SNE <tex>p_{i j}</tex> определили кактак:
<tex>p_{i j} = \dfrac {p_{i|j} + p_{i|j} } {2|X|}</tex>.
== Стохастическое вложение соседей с t-распределением ==
Чтобы избежать проблемы скученности, было решено использовать в пространстве низкой размерности t-распределение Стьюдента с одной степенью свободы<ref>[https://ru.wikipedia.org/wiki/Распределение_Стьюдента Распределение Стьюдента]</ref> вместо распределения Гаусса. Данное распределение очень похоже на распределение Гаусса, но имеет большую вероятностную массу на участках, отдаленных от нуля(Рис. 2.), что решает описанную выше проблему, т.к. теперь удаленные точки лучше отталкиваются. [[Файл:Normal t-distribution comparison.png|300px|right|thumb|Рис. 2. Сравнение плотностей нормального распределения (синий цвет) и t-распределения с одной степенью свободы (красный цвет)]]
В связи с заменой распределения <tex>q_{i j}</tex> определяется следующим образом:
<tex>\dfrac {\delta C} {\delta y_i} = 4 \sum\limits_j (p_{i j} - q_{i j})(y_i - y_j)(1 + {\left\Vert y_i - y_j \right\Vert}^2)^{-1}</tex>.
== Оптимизации в стохастическом вложении соседей с t-распределением SNE ==
В t-SNE используется 2 основные оптимизации:
# Первая оптимизация называется "раннее сжатие". В данной оптимизации на ранних итерациях оптимизации к целевой функции добавляется [[Регуляризация|<tex>L_2</tex>-штраф]] на расстояния в пространстве низкой размерности, что влечет за собой сжатие всех точек в нуле. В связи с этим кластерам будет легче переходить друг через друга, чтобы правильно расположиться в пространстве.
# Вторая оптимизация называется "раннее преувеличение". В данной оптимизации на ранних итерациях <tex>p_{i j}</tex> умножаются на некоторое положительное число, например на <tex>4</tex>. Так как <tex>q_{i j}</tex> остаются теми же самыми, они слишком маленькие, чтобы моделировать соответствующие <tex>p_{i j}</tex>. Как следствие, образуются очень плотные кластера, которые широко раскиданы в пространстве низкой размерности. Это создает много пустого пространства, которое используется кластерами, чтобы легко менять и находить наилучшее взаимное расположение.
[[Файл:T-SNE iterations visualization.gif||200px|thumb|right|Рис. 3. Визуализация работы t-SNE]]
На Рис. 3 представлена визуализация работы t-SNE, на которой видны эффекты от применения данных оптимизаций.
== См. также ==
== Источники информации ==
# [http://www.jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf Laurens van der Maaten and Geoffrey Hinton {{---}} Visualizing Data using t-SNE]# [http://datareview.info/article/algoritm-t-sne-illyustrirovannyiy-vvodnyiy-kurs datareview.info {{---}} Алгоритм t-SNE. Иллюстрированный вводный курс]# [https://en.wikipedia.org/wiki/Multivariate_t-distribution Wikipedia {{---}} Multivariate t-distribution]
[[Категория: Машинное обучение]]
[[Категория: Уменьшение размерности]]
