Автокодировщик - История изменений

Maintenance script: rollbackEdits.php mass rollback

2022-09-04T16:38:34Z

rollbackEdits.php mass rollback

23.128.248.38 в 03:52, 1 сентября 2022

2022-09-01T03:52:01Z

SuperStrongDinosaur в 21:45, 4 апреля 2019

2019-04-04T21:45:19Z

SuperStrongDinosaur в 13:24, 4 апреля 2019

2019-04-04T13:24:22Z

Внесённые изменения

SuperStrongDinosaur в 14:27, 17 марта 2019

2019-03-17T14:27:18Z

SuperStrongDinosaur в 14:23, 17 марта 2019

2019-03-17T14:23:39Z

SuperStrongDinosaur: v1

2019-03-17T12:46:15Z

Новая страница

[[File:Autoencoder1.png|450px|thumb|Автокодировщик]]
Автокодировщик (англ. autoencoder) — специальная архитектура искусственных нейронных сетей, позволяющая применять обучение без учителя при использовании метода обратного распространения ошибки. Простейшая архитектура автокодировщика — сеть прямого распространения, без обратных связей, наиболее схожая с перцептроном и содержащая входной слой, промежуточный слой и выходной слой. В отличие от перцептрона, выходной слой автокодировщика должен содержать столько же нейронов, сколько и входной слой.

Автокодировщик состоит из двух частей: энкодера <tex>g</tex> и декодера <tex>f</tex>. Энкодер переводит входной сигнал в его представление (код): <tex>h = g(x)</tex>, а декодер восстанавливает сигнал по его коду: <tex>x = f(h)</tex>.

Автокодировщик, изменяя <tex>f</tex> и <tex>g</tex>, стремится выучить тождественную функцию <tex>x = f(g(x))</tex>, минимизируя какой-то функционал ошибки. <tex>L(x, f(g(x)))</tex>

При этом семейства функций энкодера <tex>g</tex> и декодера <tex>f</tex> как-то ограничены, чтобы автоэнкодер был вынужден отбирать наиболее важные свойства сигнала.

Автокодировщик можно использовать для предобучения, например, когда стоит задача классификации, а размеченных пар слишком мало. Или для понижения размерности в данных для последующей визуализации. Либо когда просто надо научиться различать полезные свойства входного сигнала.

==Описание==

Мы берем входные данные, кодируем их, чтобы идентифицировать скрытое представление объекта. Декодируйте скрытое представление объекта, чтобы воссоздать ввод. Мы рассчитываем потери, сравнивая вход и выход. Чтобы уменьшить ошибку восстановления, мы снова распространяем и обновляем веса.

Для примера возьмем набор данных для продуктов, купленных клиентами
[[File:AutoencoderExampel.png|450px|thumb|]]

*Шаг 1: Возьмем первую строку из данных по клиенту для всех продуктов в качестве входных данных. <tex>1</tex> означает, что клиент купил продукт. <tex>0</tex> означает, что клиент не купил продукт.
*Шаг 2: Закодируем ввод в другой вектор <tex>h</tex> меньшего размера, чем входной. Можно использовать функцию активации сигмоида для <tex>h</tex>, так как она ее область значения от <tex>0</tex> до <tex>1</tex>. <tex>W</tex> - вес, примененный к входу, <tex>b</tex> - член смещения.
<tex>h = f(Wx+b)</tex>
*Шаг 3: Декодируем вектор <tex>h</tex>, чтобы воссоздать ввод. Выход будет того же размера, что и вход
*Шаг 4: Рассчитать ошибку <tex>L</tex>. Ошибка - это разница между входным и выходным вектором. Наша цель - минимизировать ошибку, чтобы выходной вектор был похож на входной вектор.
*Шаг 5: С помощью алгоритма обратного распространения ошибки нужно обновить веса. Скорость обучения определяется тем, насколько обновляются веса.
*Шаг 6: Повторите шаги с <tex>1</tex> по <tex>5</tex> для каждого клиента в наборе данных. Веса обновляются каждый раз (стохастический градиентный спуск)
*Шаг 7: Повторите для большего количества эпох. Эпоха - это когда все строки в наборе данных прошли через нейронную сеть.

==Использование==

*Нелинейное уменьшения размерности. Кодирует ввод в скрытом слое с меньшей размерностью по сравнению с входным измерением. Скрытый слой позже декодируется как выходной. Автоэнкодер уменьшает размерность линейных и нелинейных данных, следовательно, он более мощный, чем PCA.
*Рекомендации пользователям. При этом используются глубокие кодеры, чтобы понять пользовательские предпочтения, чтобы рекомендовать фильмы, книги или предметы
*Извлечения зависимостей в данных: автоэнкодеры пытаются минимизировать ошибку восстановления. В процессе уменьшения ошибки он изучает некоторые важные зависимости, присутствующие во входных данных. Он восстанавливает входные данные из кодированного состояния. Кодирование генерирует новый набор функций, который представляет собой комбинацию оригинальных зависимостей. Кодирование в автоэнкодерах помогает идентифицировать скрытые зависимости, присутствующие во входных данных.
*Распознавание изображений: для распознавания изображений используется сложный автоэнкодер. Можно использовать несколько совмещенных кодировщиков, что помогает изучить различные функции изображения.

==Пример реализации==

Ниже приведена реализация частного случая автокодировщика на языке Python с использованием библиотеки Keras.
Эта реализация работает с датасетом рукописных цифр MNIST.

def create_dense_ae():
# Размерность кодированного представления
encoding_dim = 49

# Энкодер
# Входной плейсхолдер
input_img = Input(shape=(28, 28, 1)) # 28, 28, 1 - размерности строк, столбцов, фильтров одной картинки, без батч-размерности
# Вспомогательный слой решейпинга
flat_img = Flatten()(input_img)
# Кодированное полносвязным слоем представление
encoded = Dense(encoding_dim, activation='relu')(flat_img)

# Декодер
# Раскодированное другим полносвязным слоем изображение
input_encoded = Input(shape=(encoding_dim,))
flat_decoded = Dense(28*28, activation='sigmoid')(input_encoded)
decoded = Reshape((28, 28, 1))(flat_decoded)
# Модели, в конструктор первым аргументом передаются входные слои, а вторым выходные слои
# Другие модели можно так же использовать как и слои
encoder = Model(input_img, encoded, name="encoder")
decoder = Model(input_encoded, decoded, name="decoder")
autoencoder = Model(input_img, decoder(encoder(input_img)), name="autoencoder")
return encoder, decoder, autoencoder

==См. также==
*[[:Variational autoencoder (VAE)|Variational autoencoder (VAE)]]
*[[:Generative Adversarial Nets (GAN)|Generative Adversarial Nets (GAN)]]

== Источники информации ==
*[https://medium.com/datadriveninvestor/deep-learning-autoencoders-db265359943e Deep Learning Autoencoders]
*[https://habr.com/ru/post/331382/ Автоэнкодеры в Keras]
[[Категория: Машинное обучение]]
[[Категория: Порождающие модели]]

← Предыдущая		Версия 16:38, 4 сентября 2022
Строка 1:		Строка 1:
−	~~{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"~~
−	\|+
−	~~\|-align="center"~~
−	~~\|'''НЕТ ВОЙНЕ'''~~
−	~~\|-style="font-size: 16px;"~~
−	\|
−	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
−
−	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
−
−	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
−
−	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
−
−	~~''Антивоенный комитет России''~~
−	~~\|-style="font-size: 16px;"~~
−	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
−	~~\|-style="font-size: 16px;"~~
−	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
−	\|}
−
−

	[[File:Autoencoder1RUS1998ALEX.png\|300px\|thumb\|Автокодировщик]]		[[File:Autoencoder1RUS1998ALEX.png\|300px\|thumb\|Автокодировщик]]

← Предыдущая		Версия 03:52, 1 сентября 2022
Строка 1:		Строка 1:
		+	{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"
		+	\|+
		+	\|-align="center"
		+	\|'''НЕТ ВОЙНЕ'''
		+	\|-style="font-size: 16px;"
		+	\|
		+	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
		+
		+	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
		+
		+	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
		+
		+	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
		+
		+	''Антивоенный комитет России''
		+	\|-style="font-size: 16px;"
		+	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
		+	\|-style="font-size: 16px;"
		+	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
		+	\|}
		+
		+

	[[File:Autoencoder1RUS1998ALEX.png\|300px\|thumb\|Автокодировщик]]		[[File:Autoencoder1RUS1998ALEX.png\|300px\|thumb\|Автокодировщик]]

@@ Строка 1: / Строка 1: @@
 [[File:Autoencoder1RUS1998ALEX.png|300px|thumb|Автокодировщик]]
-Автокодировщик (англ. autoencoder) — специальная архитектура искусственных нейронных сетей, позволяющая применять обучение без учителя при использовании метода [[ Обратное распространение ошибки | собратного распространения ошибки ]]. Простейшая архитектура автокодировщика — сеть прямого распространения, без обратных связей, наиболее схожая с перцептроном и содержащая входной слой, промежуточный слой и выходной слой. В отличие от [[ Нейронные сети, перцептрон | перцептрона ]], выходной слой автокодировщика должен содержать столько же нейронов, сколько и входной слой.
+Автокодировщик (англ. autoencoder) — специальная архитектура искусственных нейронных сетей, позволяющая применять обучение без учителя при использовании метода [[ Обратное распространение ошибки | с обратного распространения ошибки]]. Простейшая архитектура автокодировщика — сеть прямого распространения, без обратных связей, наиболее схожая с перцептроном и содержащая входной слой, промежуточный слой и выходной слой. В отличие от [[ Нейронные сети, перцептрон | перцептрона ]], выходной слой автокодировщика должен содержать столько же нейронов, сколько и входной слой.
 Автокодировщик состоит из двух частей: энкодера <tex>g</tex> и декодера <tex>f</tex>. Энкодер переводит входной сигнал в его представление (код): <tex>h = g(x)</tex>, а декодер восстанавливает сигнал по его коду: <tex>x = f(h)</tex>.
@@ Строка 39: / Строка 39: @@
 <tex>L = |x - f(g(x))|</tex>
-===Sparse Autoencoders===
+===Sparse Autoencoders<ref>[https://web.stanford.edu/class/cs294a/sparseAutoencoder.pdf Sparse Autoencoders]</ref>===
-Размерность скрытого слоя больше, чем входного. Они все еще могут обнаружить важные особенности из данных. Sparse Autoencoders имеют штраф за разреженность, <tex>Ω(h)</tex>, значение, близкое к нулю. На скрытый слой накладывается штраф за разреженность в дополнение к ошибке восстановления. Это предотвращает переобучение.
+Размерность скрытого слоя больше, чем входного. Они все еще могут обнаружить важные особенности из данных. На скрытый слой накладывается штраф за разреженность, <tex>Ω(h)</tex>, значение, близкое к нулю, в дополнение к ошибке восстановления. Это предотвращает переобучение.
 <tex>L = |x - f(g(x))| + Ω(h)</tex>
-===Denoising Autoencoders(DAE)===
+===Denoising Autoencoders(DAE)<ref>[https://towardsdatascience.com/denoising-autoencoders-explained-dbb82467fc2 Denoising Autoencoders]</ref>===
-Создаем поврежденную копию ввода, внося некоторый шум. Это помогает избежать автоматического копировать входных данные в выходные, не изучая их особенности. DAE минимизирует функцию потерь между выходным узлом и поврежденным вводом.
+Создаем поврежденную копию ввода, внося некоторый шум. Это помогает обучить убирать шум из данных. DAE минимизирует функцию потерь между выходным узлом и поврежденным вводом.
 <tex>L = |x' - f(g(x))|</tex>
-===Contractive Autoencoders(CAE)===
+===Contractive Autoencoders(CAE)<ref>[http://www.icml-2011.org/papers/455_icmlpaper.pdf Contractive Autoencoders]</ref>===
 Целью CAE является получение надежного представления данных, которое менее чувствительно к небольшим изменениям. Надежность представления данных достигается путем регуляризации. Наказание в CAE это норма Фробениуса матрицы Якоби, которая вычисляется  для скрытого слоя относительно входных данных. Фробениусовой нормой матрицы Якоби является сумма квадратов всех элементов.
@@ Строка 56: / Строка 56: @@
 <tex>||J_f(x)||_F^2 = sum_{i, j}(\partial h_j(x) / \partial x_i)^2</tex>
-===Stacked Denoising Autoencoders===
+===Stacked Denoising Autoencoders<ref>[http://www.jmlr.org/papers/volume11/vincent10a/vincent10a.pdf Stacked Denoising Autoencoders]</ref>===
 Stacked Autoencoders {{---}} это нейронная сеть с несколькими слоями Sparse Autoencoders. Когда мы добавляем в автоэнкодер больше скрытых слоев, это помогает уменьшить объемные код, получаемый кодировщиком. Restricted Boltzmann Machine (RBM) является основной частью сети глубокого убеждения.
-===Deep Autoencoders===
+===Deep Autoencoders<ref>https://skymind.ai/wiki/deep-autoencoder Deep Autoencoders]</ref>===
 Состоит из двух идентичных глубоких сетей. Одна сеть для кодирования и другая для декодирования. Обычно имеют от 4 до 5 уровней для кодирования и следующие от 4 до 5 уровней для декодирования.
 ==Пример реализации==
@@ Строка 90: / Строка 93: @@
       autoencoder = Model(input_img, decoder(encoder(input_img)), name=<font color="green">"autoencoder"</font>)
       return encoder, decoder, autoencoder
 ==См. также==
-*[[:Variational autoencoder (VAE)|Variational autoencoder (VAE)]]
+*[[Вариационный автокодировщик | Вариационный автокодировщик]]
 *[[:Generative Adversarial Nets (GAN)|Generative Adversarial Nets (GAN)]]
 == Источники информации ==

← Предыдущая		Версия 14:23, 17 марта 2019
Строка 12:		Строка 12:

	==Описание==		==Описание==
−
−	Мы берем входные данные, кодируем их, чтобы идентифицировать скрытое представление объекта. Декодируйте скрытое представление объекта, чтобы воссоздать ввод. Мы рассчитываем потери, сравнивая вход и выход. Чтобы уменьшить ошибку восстановления, мы снова распространяем и обновляем веса.

	Для примера возьмем набор данных для продуктов, купленных клиентами		Для примера возьмем набор данных для продуктов, купленных клиентами

@@ Строка 13: / Строка 13: @@
 ==Описание==
 Для примера возьмем набор данных для продуктов, купленных клиентами
-*Шаг 1: Возьмем первую строку из данных по клиенту для всех продуктов в качестве входных данных. <tex>1</tex> означает, что клиент купил продукт. <tex>0</tex> означает, что клиент не купил продукт.
+*Шаг 1: Возьмем первую строку из данных по клиенту для всех продуктов в качестве входа. <tex>1</tex> означает, что клиент купил продукт. <tex>0</tex> означает, что клиент не купил.
 *Шаг 2: Закодируем ввод в другой вектор <tex>h</tex> меньшего размера, чем входной. Можно использовать функцию активации сигмоида для <tex>h</tex>, так как она ее область значения от <tex>0</tex> до <tex>1</tex>. <tex>W</tex> - вес, примененный к входу,  <tex>b</tex> - член смещения.
 <tex>h = f(Wx+b)</tex>