Изменения

Генеративные модели различаются как раз тем, как именно они строят рас­пределение <tex>p(x; \theta)</tex>. Можно строить это распределение ''явно'', делая вероятностные предположения, которые обычно сводятся к тому, что общее распределение <tex>p(x; \theta)</tex> выражается в виде произведения тех или иных «маленьких» распределений.

Два основных подхода:Как правило, модели, где плотность известна явно, делают какие-то дополни­тельные предположения на структуру этих распределений. Например, [[Байесовские сети|байесовские сети]] строят распределение из условных распре­делений <math>\mathrm P(X_1, \ldots, X_n) = \prod_{i=1}^n \mathrm P(X_i \mid \operatorname{parents}(X_i)).</math> * ЯвныйМожно даже и вовсе никаких предположений не делать: определить любое распределение всегда раскладывается как <tex>p_p(x) = \displaystyle \prod_{i} p(x_i \mid x_1, {{...}}, x_{modeli-1})</tex>(Простая факторизующаяся плотность). Так представляется модель в FVBN(fully visible belief net­works)<ref>[https://mitpress.mit.edu/books/graphical-models-machine-learning-and-digital-communication Frey B. Graphical Models for Machine Learning and Digital Communication, описывающее объекты и генерировать данные из него* НеявныйCambridge, MA: получить некоторое распределениеMIT Press, 1998.]</ref>, идея которых состоит в том, оценить его близость что с одномерными распределениями мы уж как-нибудь разберемся - в ранних работах их представляли классическими моделями. А сейчас мы можем их промоделировать последовательно [[Глубокое обучение|глу­бокими сетями]], получится модель, которая сможет последовательно породить <tex>p_х</tex> компонент за компонентом, каждый раз для порождения <tex>x_i</tex> опираясь на уже порожденные <tex>x_1, {{...}}, x_{modeli-1})</tex> через дивергенцию Кульбака-Лейблера.