76
правок
Изменения
→Таксономия порождающих моделей
Мы хотим научиться создавать правдоподобный объект относительно некоторой скрытой структуры исходных объектов. Давайте изучим распределение по ним, а затем просто будем сэмплировать новый объект из этого распределения. Значит эта задача относится к классу задач [[Общие понятия#Обучение без учителя (англ. Unsupervised learning)|обучения без учителя]].
Порождающая модель иногда позволяет использовать обучение [[Общие понятия#Обучение с частичным привлечением учителя (англ. Semi-supervised learning)|с частичным привлечением учителя]]. Если вы хотите Пусть задача состоит в том, чтобы отличить кошек от собак на фотографиях, у вас может . Может быть не так уж много мало хорошо размеченных данных, на которых кошки и собаки старательно отмечены вручную. Но в любом случае львиная доля Основная часть задачи состоит в том, чтобы вообще понять, чем разумные фотографии отличаются от случайного шума в миллионах пикселов. Иначе говоря, распределение <tex>p(y \mid x)</tex>, в котором <tex>y</tex> {{- это --}} один бит «котик ли это?», отвечающий за отдельный признак, а <tex>x</tex> {{--- }} целая фотография, может быть проще обучить, если сначала узнать что-то о распределении определить распределение <tex>p(x)</tex> в целом.
== Вычисление плотности распределения ==
==Таксономия порождающих моделей==
[[Файл:Tax2Tax6.jpg|500px|thumb|rightpng|Таксономия порождающих моделей]]
Генеративные модели различаются как раз тем, как именно они строят распределение <tex>p(x; \theta)</tex>.
<tex>p(x) = \displaystyle \prod_{i} p(x_i \mid x_1, {{...}}, x_{i-1})</tex>(Простая факторизующаяся плотность)
Так представляется модель в FVBN(fully visible belief networks)<ref>[https://mitpress.mit.edu/books/graphical-models-machine-learning-and-digital-communication Frey B. Graphical Models for Machine Learning and Digital Communication, Cambridge, MA: MIT Press, 1998.]</ref>, идея которых состоит в том, что с одномерными распределениями мы уж как-нибудь разберемся - в ранних работах их представляли классическими моделями. А сейчас мы можем их промоделировать последовательно [[Глубокое обучение|глубокими сетями]], получится модель, которая сможет последовательно породить <tex>х</tex> компонент за компонентом, каждый раз для порождения <tex>x_i</tex> опираясь на уже порожденные <tex>x_1, {{...}}, x_{i-1})</tex>.
Если хочется явно выразить совсем сложные распределения в порождающих моделях, их приходится приближать более простыми, которые уже, в свою очередь, могут быть выражены явно. Для этого обычно используются [[Вариационный автокодировщик|вариационные методы]].
