Изменения

Перейти к: навигация, поиск

Порождающие модели

90 байт убрано, 00:39, 18 февраля 2020
Таксономия порождающих моделей
===Таксономия порождающих моделей===
[[Файл:Tax2.jpg|500px|thumb|right|Таксономия порождающих моделей]]
Генеративные модели различаются как раз тем, как именно они строят рас­пределение <tex>p(x; \theta)</tex>.  ====Явный подход====Можно строить это распределение ''явно'', делая вероятностные предположения, которые обычно сводятся к тому, что общее распределение <tex>p(x; \theta)</tex> выражается в виде произведения тех или иных распределений.
Как правило, модели, где плотность известна явно, делают какие-то дополни­тельные предположения на структуру этих распределений.
Если хочется явно выразить совсем сложные распределения в порождающих моделях, их приходится приближать более простыми, которые уже, в свою очередь, могут быть выражены явно. Для этого обычно используются [[Вариационный автокодировщик|вариационные мето­ды]].
====Неявный подход====
Основная альтернатива всему этому состоит в том, чтобы использовать ''неявные'' порождающие модели, в которых мы не пытаемся получить функцию, подсчитывающую плотность нужного распределения в каждой точке, а просто мо­делируем то, что нам от этой модели нужно. Например, если мы хотим просто научиться порождать фото­графии милых котиков, нам не так важно иметь явную функцию плотности <tex>p(x)</tex>, которая могла бы сказать, насколько вероятно, что перед нами котик, - вполне до­статочно просто уметь генерировать новые <tex>x \sim p(x)</tex>.
В классическом байесовском выводе сэмплирование Сэмплирование из сложных многомерных распределений делается с помощью марковских цепейМСМС<ref>[https://en.wikipedia.org/wiki/Markov_chain_Monte_Carlo Markov chain Monte Carlo(МСМС)]</ref>-методов: попробуем построить мар­ковскую цепь, которая описывает случайное блуждание под графиком плотности распределения; если достаточно долго блуждать под графиком плотности <tex>p(x)</tex>, можно будет считать, что полученная точка представляет собой случайную точ­ку, взятую по распределению <tex>p(x)</tex>. Такой подход называется МСМС<ref>[https://en.wikipedia.org/wiki/Markov_chain_Monte_Carlo Markov chain Monte Carlo(МСМС)]</ref>-методами. Попытки моделировать эту марковскую цепь Примером такого моделирования глубокой сетью известны Порождающие являются ''порождающие стохастические сети''(англ. ''Generative Stochastic Networks'')
== Глубокие порождающие модели на основе нейронных сетей ==
76
правок

Навигация