27
правок
Изменения
Нет описания правки
== Ограниченная машина больцмана (RBM) ==
[[Файл:Bolcman.jpg |400px| thumb | right |Рис 2. Визуализация RBM]]
Если вы знаете, что такое факторный анализ,то RBM можно рассматривать как двоичную версию факторного анализа. Таким образом, вместо множества факторов, определяющих вывод, мы можем иметь двоичную переменную в форме 0 или 1.
В приведенном выше примере видимые узлы - это не что иное, как то, нравится ли вам книга или нет. Скрытые узлы помогают найти то, что заставило вас одобрить эту книгу. Узлы смещения добавлены, чтобы включить различные виды свойств, разных книг.
Простая визуализация Ограниченной машины Больцмана <ref>[[Файл:Bolcman.jpg]]</ref>
Зеленым отмечены видимые узлы, а красным скрытые
# Фаза тонкой настройки
Фаза предварительного обучения - это не что иное, как несколько уровней RBN, в то время как фаза тонкой настройки - это нейронная сеть с прямой связью. Визуализация обеих фаз на рис. ниже
[[Файл:Vis2f.png |600px|thumb| center| Рис. 3 Визуализация фаз RBM]]
Как работают Глубокие сети доверия?
# the labels are presented as 1D vector of [int] labels
self.y = T.ivector('y')
<tex>self.sigmoid_layerssigmoid</tex>_<tex>layers</tex> будет хранить графики прямой связи, которые вместе образуют MLP, в то время как <tex>self.rbm_layers rbm</tex>_<tex>layers</tex> будет хранить RBM, используемые для предварительной подготовки каждого уровня MLP.Следующим шагом мы строим сигмоидные слои n_layers (мы используем класс <tex>HiddenLayer</tex>, введенный в Multilayer Perceptron, с единственной модификацией, в которой мы заменили нелинейность от <tex>tanh </tex> на логистическую функцию [[Файл:Vital1.png]] и n_layers <tex>n</tex>_<tex>layers</tex> RBM, где n_layers <tex>n</tex>_<tex>layers</tex> - это глубина нашей модели. Мы связываем сигмовидные слои так, что они образуют MLP, и строим каждый RBM таким образом, чтобы они разделяли весовую матрицу и скрытое смещение с соответствующим сигмовидным слоем.
for i in range(self.n_layers):
if i == 0:
self.rbm_layers.append(rbm_layer)
Осталось только сложить один последний уровень логистической регрессии, чтобы сформировать MLP. Мы будем использовать класс <tex>LogisticRegression</tex>:
self.logLayer = LogisticRegression(input=self.sigmoid_layers[-1].output,
n_in=hidden_layers_sizes[-1],
self.finetune_cost = self.logLayer.negative_log_likelihood(self.y)
self.errors = self.logLayer.errors(self.y)
Класс также предоставляет метод, который генерирует обучающие функции для каждого из rbm. Они возвращаются в виде списка, где элемент <tex>i </tex> является функцией, которая реализует один этап обучения для RBM на уровне <tex>i</tex>
def pretraining_functions(self, train_set_x, batch_size, k):
index = T.lscalar('index') # index to a minibatch
Чтобы иметь возможность изменять скорость обучения во время обучения, мы связываем с ней переменную <tex>Theano</tex>, которая имеет значение по умолчанию.
learning_rate = T.scalar('lr') # learning rate to use
# begining of a batch, given `index`
return pretrain_fns
Теперь любая функция pretrain_fns <tex>pretrain</tex>_<tex>fns[i] </tex> принимает в качестве аргумента индекс и, опционально, <tex>lr </tex> - скорость обучения. Обратите внимание, что имена параметров - это имена, данные переменным <tex>Theano </tex> (например, <tex>lr</tex>) при их создании, а не имена переменных python (например, learning_rate<tex>learning</tex>_<tex>rate</tex>). Имейте это в виду при работе с <tex>Theano</tex>. При желании, если вы укажете <tex>k </tex> (количество шагов Гиббса, которые нужно выполнить на CD или PCD), это также станет аргументом функции.
Точно так же класс <tex>DBN </tex> включает метод для построения функций, необходимых для тонкой настройки (train_model<tex>train</tex>_<tex>model</tex>, validate_model <tex>validate</tex>_<tex>model</tex> и test_model<tex>test</tex>_<tex>model</tex>).
def build_finetune_functions(self, datasets, batch_size, learning_rate):
(train_set_x, train_set_y) = datasets[0]
return [test_score_i(i) for i in range(n_test_batches)]
return train_fn, valid_score, test_score
Обратите внимание, что возвращенные valid_score <tex>valid</tex>_<tex>score</tex> и test_score <tex>test</tex>_<tex>score</tex> являются не функциями <tex>Theano</tex>, а скорее функциями Python. Они зацикливаются на всем наборе проверки и на всем наборе тестов, чтобы создать список потерь, полученных на этих наборах
В конце концов
Эта сеть состоит из двух этапов: (1) этап предварительного обучения и (2) этап точной настройки.
На этапе предварительного обучения мы перебираем все слои сети. Для каждого уровня мы используем скомпилированную функцию anano, которая определяет вход в RBM <tex>i</tex>-го уровня и выполняет один шаг CD-k в этом RBM. Эта функция применяется к обучающему набору для фиксированного числа эпох, заданных pretraining_epochs<tex>pretraining</tex>_<tex>epochs</tex>.
print('... getting the pretraining functions')
pretraining_fns = dbn.pretraining_functions(train_set_x=train_set_x,
