Порождающие модели — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
(Классификация задачи)
(Источники информации)
(не показаны 4 промежуточные версии этого же участника)
Строка 1: Строка 1:
 +
[[Файл:Generative_v_discriminative.png|420px|thumb|right|Порождающая модель пытается генерировать убедительные 0 и 1, для этого моделирует распределение по всему пространству данных. Напротив, дискриминативная модель старается разделить данные, без необходимости точно моделировать, как объекты размещаются по обе стороны от линии.]]
 +
 
'''Порождающие модели''' (англ. ''generative model'') {{---}} это класс моделей совместного распределения вероятностей <tex>p(x, y)</tex> для генерации новых объектов на основе исходных данных.
 
'''Порождающие модели''' (англ. ''generative model'') {{---}} это класс моделей совместного распределения вероятностей <tex>p(x, y)</tex> для генерации новых объектов на основе исходных данных.
  
 
Порождающая модель может генерировать новые фотографии животных, которые выглядят как настоящие животные, в то время как дискриминативная модель (англ. ''discriminative model'')<ref>[https://en.wikipedia.org/wiki/Discriminative_model Discriminative model]</ref> может отличить собаку от кошки.
 
Порождающая модель может генерировать новые фотографии животных, которые выглядят как настоящие животные, в то время как дискриминативная модель (англ. ''discriminative model'')<ref>[https://en.wikipedia.org/wiki/Discriminative_model Discriminative model]</ref> может отличить собаку от кошки.
 +
 +
  
  
Строка 11: Строка 15:
 
Мы хотим научиться создавать правдоподобный объект относительно некоторой скрытой структуры исходных объектов. Давайте изучим распределение по ним, а затем просто будем сэмплировать новый объект из этого распределения. Значит эта задача относится к классу задач [[Общие понятия#Обучение без учителя (англ. Unsupervised learning)|обучения без учителя]].
 
Мы хотим научиться создавать правдоподобный объект относительно некоторой скрытой структуры исходных объектов. Давайте изучим распределение по ним, а затем просто будем сэмплировать новый объект из этого распределения. Значит эта задача относится к классу задач [[Общие понятия#Обучение без учителя (англ. Unsupervised learning)|обучения без учителя]].
  
== Порождающие модели на основе нейронных сетей ==
+
== Вычисление распределения ==
 +
[[Файл:Taxonomy.png|500px|thumb|right]]
 +
Оценка плотности распределения является основной задачей порождающих моделей.
 +
 
 +
Два основных подхода:
 +
* Явный: определить распределение <tex>p_{model}</tex>, описывающее объекты и генерировать данные из него
 +
* Неявный: получить некоторое распределение, оценить его близость с <tex>p_{model}</tex> через дивергенцию Кульбака-Лейблера<ref>[https://ru.wikipedia.org/wiki/Расстояние_Кульбака_—_Лейблера Расстояние Кульбака—Лейблера]</ref>
 +
 
 +
== Глубокие порождающие модели на основе нейронных сетей ==
 
*[[Generative Adversarial Nets (GAN)|Порождающие состязательные сети]]
 
*[[Generative Adversarial Nets (GAN)|Порождающие состязательные сети]]
 
*[[Автокодировщик]]
 
*[[Автокодировщик]]
Строка 17: Строка 29:
  
 
== См. также ==
 
== См. также ==
[[Байесовская классификация#Наивный байесовский классификатор|Наивный байесовский классификатор(как пример простейшей порождающей модели)]]
+
*[[Байесовская классификация#Наивный байесовский классификатор|Наивный байесовский классификатор(как пример простейшей порождающей модели)]]
 +
 
 +
*[https://towardsdatascience.com/generating-passwords-with-generative-models-from-probabilistic-to-deep-learning-approaches-54d41d8810e3 Примеры генерации паролей на основе исходного распределения]
  
 
== Примечания ==
 
== Примечания ==
Строка 23: Строка 37:
  
 
== Источники информации ==
 
== Источники информации ==
* [https://developers.google.com/machine-learning/gan/generative Google courses с примерами на понимание]
+
*[https://en.wikipedia.org/wiki/Generative_model Generative_model]
 +
*[https://developers.google.com/machine-learning/gan/generative Google courses с примерами на понимание]
  
  
 
[[Категория: Машинное обучение]]
 
[[Категория: Машинное обучение]]
 
[[Категория: Порождающие модели]]
 
[[Категория: Порождающие модели]]

Версия 11:29, 10 февраля 2020

Порождающая модель пытается генерировать убедительные 0 и 1, для этого моделирует распределение по всему пространству данных. Напротив, дискриминативная модель старается разделить данные, без необходимости точно моделировать, как объекты размещаются по обе стороны от линии.

Порождающие модели (англ. generative model) — это класс моделей совместного распределения вероятностей [math]p(x, y)[/math] для генерации новых объектов на основе исходных данных.

Порождающая модель может генерировать новые фотографии животных, которые выглядят как настоящие животные, в то время как дискриминативная модель (англ. discriminative model)[1] может отличить собаку от кошки.



Классификация задачи

Можно использовать некоторые эмпирические правила для генерации новых объектов, не используя машинного обучения.

Требуется чтобы новые объекты были правдоподобными в своей области. Новое изображение человека должно быть правдоподобным, как изображение, но также человек на нём должен быть правдоподобным как человек.

Мы хотим научиться создавать правдоподобный объект относительно некоторой скрытой структуры исходных объектов. Давайте изучим распределение по ним, а затем просто будем сэмплировать новый объект из этого распределения. Значит эта задача относится к классу задач обучения без учителя.

Вычисление распределения

Taxonomy.png

Оценка плотности распределения является основной задачей порождающих моделей.

Два основных подхода:

  • Явный: определить распределение [math]p_{model}[/math], описывающее объекты и генерировать данные из него
  • Неявный: получить некоторое распределение, оценить его близость с [math]p_{model}[/math] через дивергенцию Кульбака-Лейблера[2]

Глубокие порождающие модели на основе нейронных сетей

См. также

Примечания

Источники информации