Викиконспекты - Вклад участника [ru]

Сверточные нейронные сети

2021-01-24T18:29:05Z

Cga: /* Inception module */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На [https://arxiv.org/abs/1603.07285 Рисунке 1] можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на [https://arxiv.org/abs/1409.4842 рисунке 5]. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png |thumb|center|700px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-24T18:28:22Z

Cga: /* Свертка */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На [https://arxiv.org/abs/1603.07285 Рисунке 1] можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на рисунке 5. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png |thumb|center|700px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-24T18:27:22Z

Cga: /* Inception module */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На Рисунке 1 можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на рисунке 5. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png |thumb|center|700px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-24T18:26:47Z

Cga: /* Свертка */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На Рисунке 1 можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png |thumb|center|700px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:48:43Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png |thumb|center|700px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:48:29Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png |thumb|center|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:46:13Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
<div class="tleft" style="clear:none">
[[Файл:Net-comparison.png |thumb|centre|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]
</div>

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:45:59Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
<div class="tleft" style="clear:none">
[[Файл:Net-comparison.png |thumb|center|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]
</div>

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:45:32Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
<div class="tleft" style="clear:none">
[[Файл:Net-comparison.png |thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]
</div>
{{Clear}}

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:40:58Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
<div class="tleft" style="clear:none">
[[Файл:Net-comparison.png |thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]
</div>

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:40:39Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
<div class="tleft" style="clear:none">
[[Файл:Net-comparison.png [https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]
</div>

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:40:04Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
<div class="tleft" style="clear:none">
[[Файл:Net-comparison.png |border|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]
</div>

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:35:31Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===

[[Файл:Net-comparison.png |border|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:35:07Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===

[[Файл:Net-comparison.png |border|1500px|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:34:55Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===

[[Файл:Net-comparison.png |border|1400px|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:34:43Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===

[[Файл:Net-comparison.png |border|1300px|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:34:26Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===

[[Файл:Net-comparison.png |border|1000px|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:34:02Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===

[[Файл:Net-comparison.png |border|700px|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:27:35Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png |border|700px|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]
 

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:26:44Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png |border|700px|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:25:42Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png |400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:25:21Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png |thumb|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] Сравнение известных нейронных сетей]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-23T12:24:45Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png |thumb|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.]]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:20:01Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|1000px]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:19:45Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|100px Рисунок 11.]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:19:35Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|1000px Рисунок 11.]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:18:53Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|1000px]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:18:13Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|1000px Рисунок 11.]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:16:04Z

Cga: /* Сравнение известных нейронных сетей */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|1000px] Рисунок 11.]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:15:27Z

Cga: /* AlexNet */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Рисунок 10.]Архитектура AlexNet]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|1000px]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:15:02Z

Cga: /* LeNet-5 */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Рисунок 9.]Архитектура LeNet-5]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Архитектура AlexNet]]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|1000px]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:14:18Z

Cga: /* Расширенная свертка (aнгл. Dilated convolution) */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|Рисунок 8. 1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Архитектура LeNet-5]]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Архитектура AlexNet]]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|1000px]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:13:27Z

Cga: /* Residual block */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Рисунок 7.]Устройство residual block]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Архитектура LeNet-5]]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Архитектура AlexNet]]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|1000px]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:12:59Z

Cga: /* Inception module */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Рисунок 5.]Inception module]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Рисунок 6.]Inception module с сокращением размерностей]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Устройство residual block]]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Архитектура LeNet-5]]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Архитектура AlexNet]]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|1000px]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:12:17Z

Cga: /* Пулинговый слой */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Рисунок 4.] Пример операции пулинга с функцией максимума]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Inception module]]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Inception module с сокращением размерностей]]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Устройство residual block]]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Архитектура LeNet-5]]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Архитектура AlexNet]]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|1000px]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:11:22Z

Cga: /* Сверточный слой */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 2.]Пример свертки двух матриц с дополнением нулями и сдвигом 2]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Рисунок 3.]Пример свертки с трехмерным ядром]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Пример операции пулинга с функцией максимума]]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Inception module]]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Inception module с сокращением размерностей]]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Устройство residual block]]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Архитектура LeNet-5]]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Архитектура AlexNet]]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|1000px]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Сверточные нейронные сети

2021-01-20T20:10:14Z

Cga: /* Свертка */

'''Сверточная нейронная сеть''' (англ. ''convolutional neural network'', ''CNN'') {{---}} специальная архитектура нейронных сетей, предложенная Яном Лекуном<ref name=LeNet5>[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Yann LeCun — Gradient-Based Learning Applied to Document Recognition, 1998]</ref>, изначально нацеленная на эффективное распознавание изображений.

== Свертка ==
[[Файл:Convolution_example.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Рисунок 1.]Пример свертки двух матриц размера 5x5 и 3x3]]
'''Свертка''' (англ. ''convolution'') {{---}} операция над парой матриц <math>A</math> (размера <math>n_x\times n_y</math>) и <math>B</math> (размера <math>m_x \times m_y</math>), результатом которой является матрица <math>C = A * B</math> размера <math>(n_x-m_x+1)\times (n_y-m_y+1)</math>.
Каждый элемент результата вычисляется как скалярное произведение матрицы <math>B</math> и некоторой подматрицы <math>A</math> такого же размера (подматрица определяется положением элемента в результате).
То есть, <math>C_{i,j} = \sum_{u = 0}^{m_x-1}\sum_{v = 0}^{m_y - 1}A_{i+u,j+v}B_{u,v}</math>. На изображении справа можно видеть, как матрица <math>B</math> «двигается» по матрице <math>A</math>, и в каждом положении считается скалярное произведение матрицы <math>B</math> и той части матрицы <math>A</math>, на которую она сейчас наложена. Получившееся число записывается в соответствующий элемент результата.

Логический смысл свертки такой {{---}} чем больше величина элемента свертки, тем больше эта часть матрицы <math>A</math> была похожа на матрицу <math>B</math> (похожа в смысле скалярного произведения). Поэтому матрицу <math>A</math> называют ''изображением'', а матрицу <math>B</math> {{---}} ''фильтром'' или ''образцом''.

== Структура сверточной нейронной сети ==
В сверточной нейронной сети выходы промежуточных слоев образуют матрицу (изображение) или набор матриц (несколько слоёв изображения). Так, например, на вход сверточной нейронной сети можно подавать три слоя изображения (R-, G-, B-каналы изображения). Основными видами слоев в сверточной нейронной сети являются сверточные слои (англ. ''convolutional layer''), пулинговые слои (англ. ''pooling layer'') и [[:Нейронные_сети,_перцептрон|полносвязные слои]] (англ. ''fully-connected layer'').

=== Сверточный слой ===
[[Файл:Padding.png|upright=1.0|thumb|[https://arxiv.org/abs/1603.07285 Пример свертки двух матриц с дополнением нулями и сдвигом 2]]]
[[Файл:Convolution-operation-on-volume5.png|upright=1.0|thumb|[http://www.machinelearning.ru/wiki/images/1/1b/DL16_lecture_3.pdf Пример свертки с трехмерным ядром]]]
Сверточный слой нейронной сети представляет из себя применение операции свертки к выходам с предыдущего слоя, где веса ядра свертки являются обучаемыми параметрами. Еще один обучаемый вес используется в качестве константного сдвига (англ. ''bias''). При этом есть несколько важных деталей:

* В одном сверточном слое может быть несколько сверток. В этом случае для каждой свертки на выходе получится своё изображение. Например, если вход имел размерность <math>w\times h</math>, а в слое было <math>n</math> сверток с ядром размерности <math>k_x\times k_y</math>, то выход будет иметь размерность <math>n\times(w - k_x + 1)\times(h - k_y + 1)</math>;

* Ядра свертки могут быть трёхмерными. Свертка трехмерного входа с трехмерным ядром происходит аналогично, просто скалярное произведение считается еще и по всем слоям изображения. Например, для усреднения информации о цветах исходного изображения, на первом слое можно использовать свертку размерности <math>3\times w \times h</math>. На выходе такого слоя будет уже одно изображение (вместо трёх);

* Можно заметить, что применение операции свертки уменьшает изображение. Также пиксели, которые находятся на границе изображения участвуют в меньшем количестве сверток, чем внутренние. В связи с этим в сверточных слоях используется дополнение изображения (англ. ''padding''). Выходы с предыдущего слоя дополняются пикселями так, чтобы после свертки сохранился размер изображения. Такие свертки называют ''одинаковыми'' (англ. ''same convolution''), а свертки без дополнения изображения называются ''правильными'' (англ. ''valid convolution''). Среди способов, которыми можно заполнить новые пиксели, можно выделить следующие:
** ''zero shift'': <code>00[ABC]00</code>;
** ''border extension'': <code>AA[ABC]CC</code>;
** ''mirror shift'': <code>BA[ABC]CB</code>;
** ''cyclic shift'': <code>BC[ABC]AB</code>.

* Еще одним параметром сверточного слоя является ''сдвиг'' (англ. ''stride''). Хоть обычно свертка применяется подряд для каждого пикселя, иногда используется сдвиг, отличный от единицы {{---}} скалярное произведение считается не со всеми возможными положениями ядра, а только с положениями, кратными некоторому сдвигу <math>s</math>. Тогда, если если вход имел размерность <math>w\times h</math>, а ядро свертки имело размерность <math>k_x\times k_y</math> и использовался сдвиг <math>s</math>, то выход будет иметь размерность <math>\lfloor\frac{w - k_x}{s} + 1\rfloor\times\lfloor\frac{h - k_y}{s} + 1\rfloor</math>.

=== Пулинговый слой ===
[[Файл:Maxpool.jpeg|upright=1.0|thumb|[https://www.slideshare.net/YUNGKUEICHEN/convolutional-neural-network-cnn-image-recognition Пример операции пулинга с функцией максимума]]]
Пулинговый слой призван снижать размерность изображения. Исходное изображение делится на блоки размером <math>w\times h</math> и для каждого блока вычисляется некоторая функция. Чаще всего используется функция максимума (англ. ''max pooling'') или (взвешенного) среднего (англ. ''(weighted) average pooling''). Обучаемых параметров у этого слоя нет. Основные цели пулингового слоя:
* уменьшение изображения, чтобы последующие свертки оперировали над большей областью исходного изображения;
* увеличение инвариантности выхода сети по отношению к малому переносу входа;
* ускорение вычислений.

=== Inception module ===
[[Файл:Inception.png|upright=1.0|thumb|[https://arxiv.org/abs/1409.4842 Inception module]]]
[[Файл:Inception_red.png|upright=1.0|thumb|[https://arxiv.org/pdf/1409.4842.pdf Inception module с сокращением размерностей]]]
''Inception module'' {{---}} это специальный слой нейронной сети, который был предложен в работе<ref name=GoogLeNet>[https://arxiv.org/pdf/1409.4842.pdf Going deeper with convolutions]</ref>, в которой была представлена сеть GoogLeNet. Основная цель этого модуля заключается в следующем. Авторы предположили, что каждый элемент предыдущего слоя соответствует определенной области исходного изображения. Каждая свертка по таким элементам будет увеличивать область исходного изображения, пока элементы на последних слоях не будут соответствовать всему изображению целиком. Однако, если с какого-то момента все свертки станут размером <math>1\times 1</math>, то не найдется элементов, которые покрывали бы все исходное изображение, поэтому было бы невозможно находить большие признаки на изображении. Чтобы решить эту проблему, авторы предложили так называемый inception module {{---}} конкатенацию выходов для сверток размера <math>1\times 1</math>, <math>3\times 3</math>, <math>5\times 5</math>, а также операции max pooling'а с ядром <math>3\times 3</math>. К сожалению, подобный наивный подход (англ. ''naive inception module'') приводит к резкому увеличению слоев изображения, что не позволяет построить с его использованием глубокую нейронную сеть. Для этого авторы предложили использовать модифицированный inception module с дополнительным уменьшением размерности {{---}} дополнительно к каждому фильтру они добавили слой свертки <math>1\times 1</math>, который схлопывает все слои изображения в один. Это позволяет сохранить малое число слоев, с сохранением полезной информации о изображении.

=== Residual block ===
[[Файл:Residual.png|upright=1.0|thumb|[https://arxiv.org/pdf/1512.03385.pdf Устройство residual block]]]
Двумя серьезными проблемами в обучении глубоких нейронных сетей являются исчезающий градиент (англ. ''vanishing gradient'') и взрывающийся градиент (англ. ''exploding gradient''). Они возникают из-за того, что при дифференцировании по цепному правилу, до глубоких слоев нейронной сети доходит очень маленькая величина градиента (из-за многократного домножения на небольшие величины на предыдущих слоях). Для борьбы с этой проблемой был предложен так называемый ''residual block''<ref name=ResNet>[https://arxiv.org/pdf/1512.03385.pdf Deep residual learning for image recognition]</ref>. Идея заключается в том, чтобы взять пару слоёв (например, сверточных), и добавить дополнительную связь, которая проходит мимо этих слоёв. Пусть <math>z^{(k)}</math> {{---}} выход <math>k</math>-ого слоя до применения функции активации, а <math>a^{(k)}</math> {{---}} выход после. Тогда residual block будет выполнять следующее преобразование: <math>a^{(k + 2)} = g(z^{(k + 2)} + a^{(k)})</math>, где <math>g</math> {{---}} функция активации.

На самом деле, такая нейронная сеть обучается предсказывать функцию <math>\mathcal{F}(x) - x</math>, вместо функции <math>\mathcal{F}(x)</math>, которую изначально нужно было предсказывать. Для компенсации этой разницы и вводится это замыкающее соединение (англ. ''shortcut connection''), которое добавляет недостающий <math>x</math> к функции. Предположение авторов, которые предложили residual block, заключалось в том, что такую разностную функцию будет проще обучать, чем исходную. Если рассматривать крайние случаи, то если <math>\mathcal{F}(x) = x</math>, такую сеть обучить нулю всегда возможно, в отличие от обучения множества нелинейных слоёв линейному преобразованию.

== Другие виды сверток ==

=== Расширенная свертка (aнгл. Dilated convolution) ===

Данная свертка похожа на пуллинг и свертку с шагом, но позволяет:
# Экспоненциально расширить рецептивное поле без потери качества изображения.
# Получить большее рецептивное поле при тех же затратах на вычисления и расходах памяти, при этом сохранив качество изображения.

Формула свертки:

<tex>O_{x, y} = \sum\limits_{i, j} W_{i,j} \sum\limits_{\substack{t, k \\ |t - i| < l \\ |k - j| < l}} I_{t, k}</tex>

<tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные, <tex>W</tex> {{---}} ядро свертки, <tex>l</tex> {{---}} коэффициент расширения.

{|
|-
|[[Файл:Dilated_convolution.png|border|700px|thumb|left|1-, 2- и 4-расширенные свертки с классическими ядрами 3x3, 5x5 и 9x9 соответственно. Красные точки обозначают ненулевые веса, остальные веса ядра равны нулю. Выделенные синие области обозначают рецептивные поля.]]
|}

=== Частичная свертка (aнгл. Partial convolution) ===

Частичная свертка позволяет работать с бинарной маской, дающей дополнительную информацию о входном изображении. Например, маска может указывать на испорченные пиксели в задаче [[Вписывание части изображения|вписывание части изображения]].

Значения обновляются по формуле:

<tex>x' = \begin{cases} W^T(X\odot M)\frac{sum(1)}{sum(M)}+b, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

<tex>M</tex> {{---}} бинарная маска; <tex>W</tex> {{---}} ядро свертки; <tex>\odot</tex> {{---}} поэлементное перемножение, <tex>b</tex> {{---}} гиперпараметр

Поэлементное перемножение <tex>X</tex> и <tex>M</tex> позволяет получить результат, зависящий только от значений с единичной маской, а <tex>\frac{sum(1)}{sum(M)}</tex> служит для нормализации этого результата.

Обновление маски происходит так:

<tex>m' = \begin{cases} 1, & \mbox{if } sum(M)>0 \\ 0, & \mbox{otherwise} \end{cases}</tex>

Как видно из формулы, дополнительная информация, вносимая маской, постепенно затухает при переходе от слоя к слою. То есть со временем маска полностью заполняется единицами.

=== Стробированная свертка (aнгл. Gated convolution) ===

Главная особенность данной свертки {{---}} сохранение дополнительной информации об изображении во всех слоях (например, маски испорченных областей).

В данном случае вместо того, чтобы работать с жесткой маской, которая обновляется по некоторым правилам, стробированная свертка учится автоматически извлекать маску из данных:

<tex>\begin{array}{rcl} Gating_{y,x} & = & \sum \sum W_1 \cdot I \\ Feature_{y,x} & = & \sum \sum W_2 \cdot I \\ O_{y,x} & = & \phi (Feature_{y,x}) \odot \sigma (Gating_{y,x}) \end{array}</tex>

<tex>W_1</tex> и <tex>W_2</tex> {{---}} два разных ядра свертки, <tex>I</tex> {{---}} входные данные, <tex>O</tex> {{---}} выходные данные, <tex>\phi</tex> {{---}} функция активации, <tex>\sigma</tex> {{---}} сигмоидная функция, <tex>\odot</tex> {{---}} поэлементное перемножение.

Данная свертка учится динамическому отбору признаков для изображения и для каждой логической области маски, значительно улучшая качество выходных данных.

== Известные архитектуры сверточных нейронных сетей ==
=== LeNet-5 ===
[[Файл:Lenet5.png|upright=1.0|thumb|[http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf Архитектура LeNet-5]]]
Нейронная сеть, предложенная Яном Лекуном<ref name=LeNet5/>, для распознавания рукописных цифр MNIST.

=== AlexNet ===
[[Файл:Alexnet.png|upright=1.0|thumb|[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf Архитектура AlexNet]]]
Победитель соревнования ImageNet 2012-ого года, набравший точность 84.6%<ref name=AlexNet>[https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with Deep Convolutional Neural Networks]</ref>. Была реализована с использованием CUDA для повышения производительности. Состоит из двух отдельных частей, которые слабо взаимодействуют друг с другом, что позволяет исполнять их параллельно на разных GPU с минимальным обменом данными.

=== VGG ===
Семейство архитектур нейронных сетей, которое включает в себя, в частности, VGG-11, VGG-13, VGG-16 и VGG-19<ref name=VGG>[https://arxiv.org/pdf/1409.1556.pdf Very Deep Convolutional Networks for Large-Scale Image Recognition]</ref>. Победитель соревнования ImageNet 2013-ого года (VGG-16), набравший точность 92.7%. Одной из отличительных особенностей является использование ядер свертки небольшого размера (3x3, в отличие от больших ядер размера 7x7 или 11x11).

=== GoogLeNet ===
Также известный как ''inception network'' {{---}} победитель соревнования ImageNet 2014-ого года, набравший 93.3% точности<ref name=GoogLeNet/>. Состоит в основном из inception модулей. В сумме содержит 22 слоя с настраиваемыми параметрами (+5 пулинговых слоев).

=== ResNet ===
Победитель соревнования ImageNet 2015-ого года. Сеть-победитель содержала более 150 слоёв<ref name=ResNet/> и набрала 96.43% точности.

=== Сравнение известных нейронных сетей ===
[[Файл:Net-comparison.png|border|1000px]]

== Примеры кода ==
===Scala===
Пример кода с библиотекой DeepLearning.scala<ref>[https://deeplearning.thoughtworks.school/index.html DeepLearning.scala]</ref>
// Загрузка датасета
val cifar10 = Cifar10.load().blockingAwait
// Определение слоёв
def myNeuralNetwork(input: INDArray): INDArrayLayer = {
val cnnLayer = maxPool(relu(conv2d(input.reshape(input.shape()(0), Cifar10.NumberOfChannels, PixelHeight, PixelWidth), cnnWeight, cnnBias, (KernelHeight, KernelWidth), (Stride, Stride), (Padding, Padding))), (PoolSize, PoolSize))
val affineRuleOfCnnLayer = relu(affine(cnnLayer.reshape(input.shape()(0), NumFilters * (PixelHeight / PoolSize) * (PixelWidth / PoolSize)), affineWeight, affineBias))
val affineOfaffineRuleOfCnnLayer = affine(affineRuleOfCnnLayer.reshape(input.shape()(0), HiddenDim), affineLastWeight, affineLastBias)
val softmaxValue = softmax(affineOfaffineRuleOfCnnLayer)
softmaxValue
}
// Определение функции потерь
def lossFunction(input: INDArray, expectOutput: INDArray): DoubleLayer = {
val probabilities = myNeuralNetwork(input)
-(hyperparameters.log(probabilities) * expectOutput).mean
}

class Trainer(batchSize: Int, numberOfEpoches: Int = 5) {
import scalaz.std.anyVal._
import scalaz.syntax.all._
@volatile
private var isShuttingDown: Boolean = false
private val lossBuffer = scala.collection.mutable.Buffer.empty[Double]
def plotLoss(): Unit = Seq(Scatter(lossBuffer.indices, lossBuffer)).plot(title = "loss by time")
def interrupt(): Unit = isShuttingDown = true
def startTrain(): Unit = {
@monadic[Future]
def trainTask: Future[Unit] = {
isShuttingDown = false
var epoch = 0

while (epoch < numberOfEpoches && !isShuttingDown) {
val cifar10 = Cifar10.load().blockingAwait
val iterator = cifar10.epoch(batchSize).zipWithIndex
while (iterator.hasNext && !isShuttingDown) {
val (Cifar10.Batch(labels, batch), i) = iterator.next()
val loss = lossFunction(batch, labels).train.each
lossBuffer += loss
hyperparameters.logger.info(s"epoch=epoch iteration=i batchSize=batchSize loss=loss")
}
epoch += 1
}
hyperparameters.logger.info("Done")
}
trainTask.onComplete { tryUnit: scala.util.Try[Unit] => tryUnit.get }
}
}

==См. также==
*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
*[[:Рекуррентные нейронные сети|Рекуррентные нейронные сети]]
*[[:Рекурсивные нейронные сети|Рекурсивные нейронные сети]][на 28.01.19 не создан]

==Примечания==
<references/>

== Источники информации ==
* [https://towardsdatascience.com/understanding-2d-dilated-convolution-operation-with-examples-in-numpy-and-tensorflow-with-d376b3972b25 Understanding 2D Dilated Convolution Operation with Examples in Numpy and Tensorflow with Interactive Code, Towards Data Science]
* [https://arxiv.org/pdf/1806.03589v2.pdf Free-Form Image Inpainting with Gated Convolution, Jiahui Yu, Zhe Lin, Jimei Yang, Xiaohui Shen, Xin Lu, Thomas Huang]

[[Категория: Машинное обучение]]
[[Категория: Нейронные сети]]
[[Категория: Сверточные нейронные сети]]

Анализ временных рядов

2021-01-20T15:59:20Z

Cga: /* Garch */

Временные ряды {{---}} это актуальный инструмент, применимый во множестве решений, от предсказания цен на акции, прогнозов погоды, планирования бизнеса, до распределения ресурсов. Несмотря на то, что прогнозирование может быть сведено к построению контролируемой [[Вариации регрессии|регрессии]], существуют особенности, связанные с временным характером наблюдений, которые необходимо учитывать, используя специальные инструменты. 

==Временной ряд==
 
{{Определение
|definition =
'''Временно́й ряд (или ряд динамики)''' {{---}} собранный в разные моменты времени статистический материал о значении каких-либо параметров (в простейшем случае одного) исследуемого процесса. Каждая единица статистического материала называется измерением или отсчётом. Во временном ряде для каждого отсчёта должно быть указано время измерения или номер измерения по порядку.
}}

Как и большинство других видов анализа, анализ временных рядов предполагает, что данные содержат систематическую составляющую (обычно включающую несколько компонент) и случайный шум (ошибку), который затрудняет обнаружение регулярных компонент. Большинство методов исследования временных рядов включает различные способы фильтрации шума, позволяющие увидеть регулярную составляющую более отчетливо. Большинство регулярных составляющих временных рядов принадлежит к двум классам: они являются либо трендом, либо сезонной составляющей. Тренд представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Сезонная составляющая {{---}} это периодически повторяющаяся компонента. Оба эти вида регулярных компонент часто присутствуют в ряде одновременно.

==Валидирование и тестирование модели временного ряда==
 
Данные упорядочены относительно неслучайных моментов времени, и, значит, в отличие от случайных выборок, могут содержать в себе дополнительную информацию, поэтому нельзя пользоваться обычными способами валидации. Чтобы избежать смещения оценки необходимо удостовериться, что обучающие наборы данных содержат только наблюдения, которые произошли до событий из валидирующиx наборов. 
[[Файл:TimeSeriesCross-validation.png |thumb|left|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 1.] Кросс-валидация временного ряда]] 

Возможным способом преодоления данной проблемы будет использование скользящего окна, как описано [https://robjhyndman.com/hyndsight/tscv/ здесь]. Эта процедура называется [[Кросс-валидация|кросс-валидацией]] временного ряда и может быть вкратце описана следующей картинкой (рис. 1), в которой синие точки обозначают тренировочный набор данных, а красные соответствующие валидационные наборы данных. 

Если необходимо предсказать следующие $n$ шагов, то можно заранее кросс-валидировать $1,2,...,n$. Таким образом можно также сравнить качество предсказаний для разных временных горизонтов. 

Определив лучшую модель, можно применить её ко всему обучающему набору и оценить его работу на следующем во времени наборе данных. Оценка работы может быть дана с использованием метода скользящего окна<ref>[https://wiki.loginom.ru/articles/windowing-method.html loginom: Метод скользящего окна]</ref>, который используем при кросс-валидации, но без переподсчёта параметра модели.

==Краткое исследование данных==
[[Файл:ManufactureOfElectricalEquipment.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 2.] Набор данных описывающий график производства электрооборудования]] 

В данной части используется несколько разных моделей для предсказания изменений в промышленном производстве, которые для примера будем оценивать численно, как количество электрооборудования, произведённого в зоне Евро (рис. 2, 3). 
[[Файл:SeasonalPlotMonthluSeasonalPattern.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 3.] Сезонные колебания]]
Набор данных описывает ежемесячное производство электрооборудования (компьютеры электрические и оптические приборы) в зоне евро (17 стран) в период с января 1996 по март 2012 года (см. график ниже). Последние два года будем использовать при тестировании. 

==Модели прогнозирования временных рядов==

Существует 10 моделей прогнозирования, у каждой имеются свои достоинства и недостатки. Ниже, используя каждую модель, предскажем 12 месяцев, соответственно, значение $t+1, t+2, …, t + 12$.
Имеет смысл использовать среднюю абсолютную ошибку для работы оценки модели. 

===Наивное предсказание===
[[Файл:NaiveElectricalEquipmentManufacturing.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 4.] Наивная]] 

Предсказания для каждого горизонта соотвествуют последнему наблюдаемому значению
$Y(t + h|t) = Y(t)$.

Такие предскания предполагают, что стохастическая<ref>[https://ru.wikipedia.org/wiki/Стохастичность Википедия: Стохастичность]</ref> модель генерирует [[Участник:Mk17.ru|случайное блуждание]]. 
[[Файл:SeasonalNaiveElectricalEquipmentManufacturing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 5.] Cезонно-наивная]] 
Расширение наивной модели сезонно-наивная модель (англ. Season Naive, SNAIVE) {{---}} сезонно-наивная модель предполагает, что временной ряд имеет сезонную компоненту, и что период сезонности $T$. 

Прогнозы SNAIVE-модели описываются формулой $\dot{Y}(t+h|t) = Y(t+h-T)$.

Получаемые прогнозы следующие $T$ шагов совпадают с предыдущими $T$ шагами.
Эти модели часто используются как ориентировочные модели. Следующий графики показывают предсказания двух моделей для 2007 года (рис. 4, 5). 

===Разделение по сезонам + любая модель===
[[Файл:STL_docompositionOnIndustrialProductionIndexData.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 6.] Методы разложения ряда]] 
Если данные показывают, что они восприимчивы к периодическим (сезонным) изменениям (ежедневно, еженедельно, ежеквартально, ежегодно), то будет полезным разложить исходный временной ряд на сумму трёх компонентов. 

$Y(t) = S(t) + T(t) + R(t)$ 
$S(t)$ {{---}} сезонный компонент. 
$T(t)$ {{---}} компонент трендового цикла. 
$R(t)$ {{---}} остаток. 
Существуют несколько способов для такого разложения, но наиболее простой называется классическим разложением и заключается в том, чтобы оценить тренд $T(t)$ через скользящее среднее, посчитать $S(t)$, как среднее без тренда $Y(t) - T(t)$ для каждого сезона. 
Посчитать остаток, как $R(t) = Y(t) - T(t)-S(t)$. 
[[Файл:SeasonallyAdjustedIndustrial.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 7.] Сезонные индексы ряда]]
Классическое разложение можно расширить несколькими способами. 
Расширение позволяет использовать данный метод при:
* непостоянной величине сезона;
* посчитать начальные и конечные значения декомпозиции;
* избежать лишнего сглаживания;

Обзор методов разложений ряда можно увидеть по [https://otexts.com/fpp2/decomposition.html ссылке]. Используется реализация из стандартной библиотеки (рис. 6). 

Одним из способов использования декомпозиции для прогнозирования будет: 
1) Разложить обучающий набор алгоритмом. 
2) Посчитать сезонное отклонение ряда $Y(t) - S(t)$, используя любую модель для прогнозирования сезонно-чувствительного временного ряда. 
3) Добавить прогнозам сезонность последнего временного периода во временном ряду (в нашем случае $S(t)$ для прошлого года). 
[[Файл:SeasonallyAdjustedTimeSeries.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 8.] Декомпозиция и наивная модель]] 
На следующем графике показаны сезонные индексы ряда с учётом сезонности (рис. 7).

Следующий график показывает расчёты для 2007 года с использованием декомпозиции и наивной модели (рис. 8) для сезонно-изменяемого временного ряда. 

===Экспоненциальное сглаживание ===
 
[[Файл:ExpSmoothing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 9.] Данные полученные для 2007 года с использованием модели экспоненциального сглаживания]]
Экспоненциальное сглаживание<ref>[https://ru.wikipedia.org/wiki/Экспоненциальное_сглаживание Википедия: Экспоненциальное сглаживание]</ref> {{---}} один из наиболее успешных классических методов предсказаний. В своей базовой форме он называется простым экспоненциальный сглаживанием и его прогнозы описываются формулами:
$Ŷ(t+h|t) = ⍺y(t) + ⍺(1-⍺)y(t-1) + ⍺(1-⍺)²y(t-2) + …$ 
где''''' $0<⍺<1$ '''''. Если $⍺ = 0$, то текущие наблюдения игнорируются, если же $⍺ = 1$, то полностью игнорируются предыдущие наблюдения. 
[[Файл:ExpSmoothing+Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 10.] Данные полученные для 2007 года, с использованием модели экспоненциального сглаживания и декомпозиции]]

Заметно, что прогнозы равны взвешенному среднему от старых наблюдений, и что соответствующие веса убывают экспоненциально по мере хода времени.

Некоторые методы для расширения алгоритма позволяют добавить тренд, его затухание и сезонность.
Экспоненциальное сглаживание состоит из 9 моделей, которые подробно описаны [https://otexts.com/fpp2/taxonomy.html здесь].

Следующие графики (рис. 9, 10) описывают прогнозы данных полученные для 2007 года, с использованием модели экспоненциального сглаживания (выбраны автоматически), которые подходили исходному и сезонно-чувствительному временному ряду. 

===ARIMA, SARIMA===
 
[[Файл:SARIMA.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] SARIMA]]
Также как и экспоненциальное сглаживание, интегрированная модель авторегрессии скользящего среднего (англ. autoregressive integrated moving average, ARIMA) также часто используются для прогноза временных рядов.

{{Определение
|definition =
'''Процесс авторегрессии''' {{---}} последовательная зависимость элементов временного ряда, выразается следующим уравнением:
$x(t) = \psi + \phi_1 * x_(t-1) + \phi_2 * x_(t-2) + \phi_3 * x_(t-3) + ... + \epsilon$ 
Где $\psi$ {{---}} свободный член (константа). 
$\phi_1, \phi_2, \phi_3, ...$ {{---}} параметры авторегрессии.
}}
{{Определение
|definition =
'''Скользящее среднее''' {{---}} общее название для семейства функций, значения которых в каждой точке определения равны некоторому среднему значению исходной функции за предыдущий период.
}}

{{Определение
|definition =
'''Процесс скользящего среднего''' {{---}} в процессе скользящего среднего каждый элемент ряда подвержен суммарному воздействию предыдущих ошибок. В общем виде это можно записать следующим образом:
$x_t = \mu + \epsilon_t - \theta_1 * \epsilon_{t-1} - \theta_2 * \epsilon_{t-2} - ...$ 
Где $\mu$ {{---}} константа. 
$\theta_1, \theta_2, \theta_3, ...$ {{---}} параметры скользящего среднего.
}}
[[Файл:SARIMA_Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 12.] SARIMA декомпозированная]]
ARIMA {{---}} комбинация этих двух подходов. Так как эти подходы требуются стационарности временного ряда, может понадобится продифференциировать/проинтегрировать ряд.
То есть рассматировать ряд разностей, а не исходный ряд.

Сезонная интегрированная модель авторегрессии скользящего среднего (англ. season autoregressive integrated moving average, SARIMA) учитывает сезонность, добавляя линейную комбинацию прошлых сезонных значений и/или прошлых ошибок прогноза.
Более подробную информацию про ARIMA, SARIMA читайте по [https://otexts.com/fpp2/arima.html ссылке].

Данные графики показывают предсказания полученные для 2007 года, с использованием модели SARIMA (рис. 11,12).

===Garch===
 
[[Файл:GARCH.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 13.] ARMA]] 

В предыдущих моделях считалось, что слагаемое ошибки в стохастическом процессе генерации временного ряда имело одинаковую дисперсию.

В GARСH-модели (англ. Generalized AutoRegressive Conditional Heteroscedasticity, GARCH) предполагается, что слагаемое ошибки следует авторегрессионному скользящему среднему (англ. AutoRegressive Moving Average, ARMA), соответственно слагаемое меняется по ходу времени. Это особенно полезно при моделировании финансовых временных рядов, так как диапазон изменений тоже постоянно меняется (рис. 13).

В 1982 году была предложена ARCH {{---}} модель, описываемая формулой: 

$\sigma^2(t) = \alpha + \sum_{i = 1}^{\alpha}b_ir^{2}_{t-1}$ 
где $\alpha$ {{---}} коэффициент задержки 
$\sigma^2(t)$ - волатильность 
$\sum_{i = 1}^{\alpha}b_ir^{2}_{t-1}$ - линенйная комбинация абсолютных значений нескольких последних изменений значений.

Позднее была создана GARCH {{---}} обобщённая ARCH модель, которая также учитывает предыдущие оценки дисперсии. Формула может быть записана так:
$\sigma^2(t) = \alpha + \sum_{i = 1}^{\alpha}b_ir^{2}_{t-1} \sum_{i = 1}^{p}c_i\sigma^{2}_{t-1}$ 
где p {{---}} количество предшествующих оценок, влияющих на текущее значение. 
с {{---}} весовые коэффициенты предыдущих оценок.

Обычно ARMA используется и для учёта среднего, более подробное введение в Garsh и различные варианты можно найти [https://cran.r-project.org/web/packages/rugarch/vignettes/Introduction_to_the_rugarch_package.pdf здесь]. 

===Динамические линейные модели===
[[Файл:DLM+Decomposition.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 14.] DLM]] 
Динамические линейные модели представляют другой класс моделей предсказания временных рядов (рис. 14).
Идея заключается в том, что в каждый момент времени $t$ эти модели соответствуют линейной модели, но коэффициент регрессии постоянно меняется. Пример динамической линейной модели ниже: 
$y(t) = ⍺(t) + tβ(t) + w(t)$, 
$⍺(t) = ⍺(t-1) + m(t)$, 
$β(t) = β(t-1) + r(t)$, 
$w(t)$ ~ $N(0,W)$, $m(t)$ ~ $N(0,M)$, $r(t)$ ~ $N(0,R)$. 

В предыдущей модели коэффициенты $a(t)$ и $b(t)$ следуют случайному блужданию.

Динамические линейные модели могут быть построены в рамках Байесовской системы. Тем не менее и этот метод можно улучшить, подробности [https://cran.r-project.org/web/packages/dlm/vignettes/dlm.pdf здесь]. 

===TBATS===
 
[[Файл:TBATS_Electrical.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 15.] DLM]]
TBATS (англ. Trigonometric seasonality, Box-Cox transformation, ARMA errors, Trend and Seasonal components) {{---}} это модели, которые основаны на экспоненциальном сглаживании (рис. 15). Главной особенностью TBATS является возможность взаимодействия с несколькими сезонностями. Моделируя каждую функцию сезонности отдельным тригонометрическим отображением построенным на [[L 2-теория рядов Фурье|рядах Фурье]]. Классическим примером комплексной сезонности будет отображение ежедневных объемов продаж, которое имеет, как еженедельные колебания, так и ежегодные. 

Больше информации можно прочиать [https://robjhyndman.com/papers/ComplexSeasonality.pdf тут]. 

===Prophet===
 
Ещё одна модель, способная взаимодействовать с несколькими сезонностями (рис. 16).
Это ПО с открытым исходным кодом от Фейсбука ([https://facebook.github.io/prophet/ ссылка]). 
[[Файл:Prophet.png |right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 16.] Prophet]]

Prophet считает, что временной ряд может быть разложен следующим образом: 
$y(t) = g(t) + s(t) + h(t) + ε(t)$, 
$g(t)$ {{---}} тренд, 
$s(t)$ {{---}} сезонность, 
$h(t)$ {{---}} каникулы, т.е аномальные данные, 
$ε(t)$ {{---}} ошибки. 

Подгонка модели представляет собой упражнение по подгонке кривой, поэтому она явно не учитывает структуру временной зависимости в данных. Это также позволяет проводить наблюдения с нерегулярным интервалом. 
Есть два варианта временных рядов тренда: модель насыщающего роста и кусочно-линейная модель. Модель многопериодной сезонности основана на рядах Фурье<ref>[[Определение ряда Фурье]]</ref>. Эффект известных и заказных выходных дней может быть легко включен в модель. 
Модель Prophet вставлена в байесовскую структуру и позволяет сделать полный апостериорный вывод, чтобы включить неопределенность параметров модели в неопределенность прогноза. 

===NNETAR===
 
[[Файл:NNETARElectriacalequipmntManufacturing.png |left|300px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 17.] NNETAR]]
Модель авторегрессии нейронной сети (англ. Neural NETwork AutoRegression, NNETAR) представляет собой полносвязную [https://neerc.ifmo.ru/wiki/index.php?title=Нейронные_сети,_перцептрон нейронную сеть].
Модель NNETAR принимает на вход последние элементы последовательности до момента времени $t$ и выводит прогнозируемое значение в момент времени $t + 1$. Для выполнения многоэтапных прогнозов сеть применяется итеративно.

Модель можно описать уравнением
$y_t = f(y_{t-1}) + \epsilon_t$ 
где $y_{t-1} = (y_{t-1}, y_{t-2}, ...)'$ {{---}} вектор, содержащий запаздывающие значения, 
f {{---}} нейронная сеть, с 4 скрытыми узлами в каждом слое, 
$\epsilon_t$ {{---}} считаем, что ряд ошибок [https://ru.wikipedia.org/wiki/Гомоскедастичность гомокседастичен] (и возможно имеет нормальное распределение). 
[[Файл:NNETARElectriacalequipmntManufacturingDecomposition.png |right|300px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 18.] NNETAR c декомпозицией]]

Мы можем моделировать будущие выборочные пути этой модели итеративно, случайным образом генерируя значение для $\epsilon_t$ либо из нормального распределения, либо путем повторной выборки из исторических значений. Так что если
$\epsilon^*_{T+1}$
{{---}} случайная выборка из распределения ошибок в момент времени $T+1$, тогда $y^*_{T+1} = f(y_T) + \epsilon^*_{T+1}$ {{---}} один из возможных вариантов распределения прогнозов для $y_{T+1}$ 
Установив $y^*_{T+1} = (y^*_{T+1}, y_{T})'$, мы можем повторить процесс, чтобы получить $y^*_{T+2} = f(y_{T+1}) + \epsilon_{T+2}$. 

Таким образом, мы можем итеративно моделировать будущий путь выборки. Повторно моделируя выборочные пути, мы накапливаем знания о распределении всех будущих значений на основе подобранной нейронной сети.

===LSTM===
 
Блок [[:Долгая_краткосрочная_память|cети долго-краткосрочной памяти]] (англ. Long short-term memory, LSTM) могут использоваться для прогнозирования временных рядов (а также других рекуррентных нейронных сетей). 
Состояние сети LSTM представлено через вектор пространства состояний. Этот метод позволяет отслеживать зависимости новых наблюдений от прошлых (даже очень далеких). 
Вообще говоря, LSTM представляют собой сложные модели, и они редко используются для прогнозирования одного временного ряда, поскольку для их оценки требуется большой объем данных. Однако они обычно используются, когда необходимы прогнозы для большого количества временных рядов (как показано [https://arxiv.org/abs/1704.04110 здесь]).

==Оценка==
[[Файл:Evaluation.png |right|600px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 19.] MAE с перекрестной проверкой для каждой модели]]
Выполнен выбор модели с помощью процедуры перекрестной проверки, описанной ранее. Не рассчитывая его для динамических линейных моделей и моделей LSTM из-за их высокой вычислительной стоимости и низкой производительности. 
На следующем рисунке показана [[Оценка качества в задачах классификации и регрессии|средняя абсолютная ошибка]] (англ. Mean Absolute Error, MAE) с перекрестной проверкой для каждой модели и для каждого временного горизонта (рис. 17):

Модель NNETAR по сезонно скорректированным данным была лучшей моделью для данной задачи, поскольку она соответствовала самому низкому значению MAE, прошедшему перекрестную проверку. 
Чтобы получить объективную оценку наилучшей производительности модели, вычислим MAE на тестовом наборе (рис. 18), получив оценку, равную 5,24. На следующем рисунке можно увидеть MAE, оцененную на тестовой выборке для каждого временного горизонта. 

[[Файл:Cross-validated MAE.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 20.] MAE, тестовый набор]]
 
=== Методы увеличения производительности===

*Использование разных моделей для разных временных горизонтов,
*Объединение нескольких прогнозов (например, с учетом среднего прогноза),
*Агрегация начальных данных.
 

==Заключительные замечания==
Большинство ранее описанных моделей позволяют легко включать изменяющиеся во времени предикторы. Они могут быть извлечены из одного и того же временного ряда или могут соответствовать внешним предикторам (например, временному ряду другого индекса). В последнем случае необходимо обратить внимание на то, чтобы не использовать информацию из будущего, которая могла бы быть удовлетворена путем прогнозирования предикторов или использования версий c ошибками. 

Обратите внимание, что в данном конспекте рассматривается случай, когда у нас есть один временной ряд для прогнозирования. Когда у нас много временных рядов, может быть предпочтительнее глобальный подход, поскольку он позволяет нам оценивать более сложную и потенциально более точную модель. Подробнее о глобальном подходе [https://arxiv.org/abs/1704.04110 здесь].

==См. Также==
* [[Кластеризация]]
* [[Уменьшение размерности]]
* [[Рекомендательные системы]]
* [[Анализ социальных сетей]]
* [[Графовые нейронные сети]]
* [[Компьютерное зрение]]

== Примечания ==
<references/>

==Источники Информации==
*[http://www.machinelearning.ru/wiki/index.php?title=Временной_ряд machinelearning.ru]
*[https://ru.wikipedia.org/wiki/Временной_ряд Википедия: Временной ряд]
*[http://statsoft.ru/home/textbook/modules/sttimser.html StatSoft: Анализ временных рядов]
*[https://chaos.phys.msu.ru/loskutov/PDF/Lectures_time_series_analysis.pdf Лоскутов А.Ю. физ. фак. МГУ: Анализ Временных Рядов]
*[https://wiki.loginom.ru/articles/garch-model.html loginom: Garch-модель]
*[https://otexts.com/fpp2/nnetar.html Otexts: NNETAR]
[[Категория: Машинное обучение]]
[[Категория: Анализ временных рядов]]

Анализ временных рядов

2021-01-20T15:39:53Z

Cga: /* Источники Информации */

Временные ряды {{---}} это актуальный инструмент, применимый во множестве решений, от предсказания цен на акции, прогнозов погоды, планирования бизнеса, до распределения ресурсов. Несмотря на то, что прогнозирование может быть сведено к построению контролируемой [[Вариации регрессии|регрессии]], существуют особенности, связанные с временным характером наблюдений, которые необходимо учитывать, используя специальные инструменты. 

==Временной ряд==
 
{{Определение
|definition =
'''Временно́й ряд (или ряд динамики)''' {{---}} собранный в разные моменты времени статистический материал о значении каких-либо параметров (в простейшем случае одного) исследуемого процесса. Каждая единица статистического материала называется измерением или отсчётом. Во временном ряде для каждого отсчёта должно быть указано время измерения или номер измерения по порядку.
}}

Как и большинство других видов анализа, анализ временных рядов предполагает, что данные содержат систематическую составляющую (обычно включающую несколько компонент) и случайный шум (ошибку), который затрудняет обнаружение регулярных компонент. Большинство методов исследования временных рядов включает различные способы фильтрации шума, позволяющие увидеть регулярную составляющую более отчетливо. Большинство регулярных составляющих временных рядов принадлежит к двум классам: они являются либо трендом, либо сезонной составляющей. Тренд представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Сезонная составляющая {{---}} это периодически повторяющаяся компонента. Оба эти вида регулярных компонент часто присутствуют в ряде одновременно.

==Валидирование и тестирование модели временного ряда==
 
Данные упорядочены относительно неслучайных моментов времени, и, значит, в отличие от случайных выборок, могут содержать в себе дополнительную информацию, поэтому нельзя пользоваться обычными способами валидации. Чтобы избежать смещения оценки необходимо удостовериться, что обучающие наборы данных содержат только наблюдения, которые произошли до событий из валидирующиx наборов. 
[[Файл:TimeSeriesCross-validation.png |thumb|left|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 1.] Кросс-валидация временного ряда]] 

Возможным способом преодоления данной проблемы будет использование скользящего окна, как описано [https://robjhyndman.com/hyndsight/tscv/ здесь]. Эта процедура называется [[Кросс-валидация|кросс-валидацией]] временного ряда и может быть вкратце описана следующей картинкой (рис. 1), в которой синие точки обозначают тренировочный набор данных, а красные соответствующие валидационные наборы данных. 

Если необходимо предсказать следующие $n$ шагов, то можно заранее кросс-валидировать $1,2,...,n$. Таким образом можно также сравнить качество предсказаний для разных временных горизонтов. 

Определив лучшую модель, можно применить её ко всему обучающему набору и оценить его работу на следующем во времени наборе данных. Оценка работы может быть дана с использованием метода скользящего окна<ref>[https://wiki.loginom.ru/articles/windowing-method.html loginom: Метод скользящего окна]</ref>, который используем при кросс-валидации, но без переподсчёта параметра модели.

==Краткое исследование данных==
[[Файл:ManufactureOfElectricalEquipment.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 2.] Набор данных описывающий график производства электрооборудования]] 

В данной части используется несколько разных моделей для предсказания изменений в промышленном производстве, которые для примера будем оценивать численно, как количество электрооборудования, произведённого в зоне Евро (рис. 2, 3). 
[[Файл:SeasonalPlotMonthluSeasonalPattern.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 3.] Сезонные колебания]]
Набор данных описывает ежемесячное производство электрооборудования (компьютеры электрические и оптические приборы) в зоне евро (17 стран) в период с января 1996 по март 2012 года (см. график ниже). Последние два года будем использовать при тестировании. 

==Модели прогнозирования временных рядов==

Существует 10 моделей прогнозирования, у каждой имеются свои достоинства и недостатки. Ниже, используя каждую модель, предскажем 12 месяцев, соответственно, значение $t+1, t+2, …, t + 12$.
Имеет смысл использовать среднюю абсолютную ошибку для работы оценки модели. 

===Наивное предсказание===
[[Файл:NaiveElectricalEquipmentManufacturing.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 4.] Наивная]] 

Предсказания для каждого горизонта соотвествуют последнему наблюдаемому значению
$Y(t + h|t) = Y(t)$.

Такие предскания предполагают, что стохастическая<ref>[https://ru.wikipedia.org/wiki/Стохастичность Википедия: Стохастичность]</ref> модель генерирует [[Участник:Mk17.ru|случайное блуждание]]. 
[[Файл:SeasonalNaiveElectricalEquipmentManufacturing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 5.] Cезонно-наивная]] 
Расширение наивной модели сезонно-наивная модель (англ. Season Naive, SNAIVE) {{---}} сезонно-наивная модель предполагает, что временной ряд имеет сезонную компоненту, и что период сезонности $T$. 

Прогнозы SNAIVE-модели описываются формулой $\dot{Y}(t+h|t) = Y(t+h-T)$.

Получаемые прогнозы следующие $T$ шагов совпадают с предыдущими $T$ шагами.
Эти модели часто используются как ориентировочные модели. Следующий графики показывают предсказания двух моделей для 2007 года (рис. 4, 5). 

===Разделение по сезонам + любая модель===
[[Файл:STL_docompositionOnIndustrialProductionIndexData.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 6.] Методы разложения ряда]] 
Если данные показывают, что они восприимчивы к периодическим (сезонным) изменениям (ежедневно, еженедельно, ежеквартально, ежегодно), то будет полезным разложить исходный временной ряд на сумму трёх компонентов. 

$Y(t) = S(t) + T(t) + R(t)$ 
$S(t)$ {{---}} сезонный компонент. 
$T(t)$ {{---}} компонент трендового цикла. 
$R(t)$ {{---}} остаток. 
Существуют несколько способов для такого разложения, но наиболее простой называется классическим разложением и заключается в том, чтобы оценить тренд $T(t)$ через скользящее среднее, посчитать $S(t)$, как среднее без тренда $Y(t) - T(t)$ для каждого сезона. 
Посчитать остаток, как $R(t) = Y(t) - T(t)-S(t)$. 
[[Файл:SeasonallyAdjustedIndustrial.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 7.] Сезонные индексы ряда]]
Классическое разложение можно расширить несколькими способами. 
Расширение позволяет использовать данный метод при:
* непостоянной величине сезона;
* посчитать начальные и конечные значения декомпозиции;
* избежать лишнего сглаживания;

Обзор методов разложений ряда можно увидеть по [https://otexts.com/fpp2/decomposition.html ссылке]. Используется реализация из стандартной библиотеки (рис. 6). 

Одним из способов использования декомпозиции для прогнозирования будет: 
1) Разложить обучающий набор алгоритмом. 
2) Посчитать сезонное отклонение ряда $Y(t) - S(t)$, используя любую модель для прогнозирования сезонно-чувствительного временного ряда. 
3) Добавить прогнозам сезонность последнего временного периода во временном ряду (в нашем случае $S(t)$ для прошлого года). 
[[Файл:SeasonallyAdjustedTimeSeries.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 8.] Декомпозиция и наивная модель]] 
На следующем графике показаны сезонные индексы ряда с учётом сезонности (рис. 7).

Следующий график показывает расчёты для 2007 года с использованием декомпозиции и наивной модели (рис. 8) для сезонно-изменяемого временного ряда. 

===Экспоненциальное сглаживание ===
 
[[Файл:ExpSmoothing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 9.] Данные полученные для 2007 года с использованием модели экспоненциального сглаживания]]
Экспоненциальное сглаживание<ref>[https://ru.wikipedia.org/wiki/Экспоненциальное_сглаживание Википедия: Экспоненциальное сглаживание]</ref> {{---}} один из наиболее успешных классических методов предсказаний. В своей базовой форме он называется простым экспоненциальный сглаживанием и его прогнозы описываются формулами:
$Ŷ(t+h|t) = ⍺y(t) + ⍺(1-⍺)y(t-1) + ⍺(1-⍺)²y(t-2) + …$ 
где''''' $0<⍺<1$ '''''. Если $⍺ = 0$, то текущие наблюдения игнорируются, если же $⍺ = 1$, то полностью игнорируются предыдущие наблюдения. 
[[Файл:ExpSmoothing+Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 10.] Данные полученные для 2007 года, с использованием модели экспоненциального сглаживания и декомпозиции]]

Заметно, что прогнозы равны взвешенному среднему от старых наблюдений, и что соответствующие веса убывают экспоненциально по мере хода времени.

Некоторые методы для расширения алгоритма позволяют добавить тренд, его затухание и сезонность.
Экспоненциальное сглаживание состоит из 9 моделей, которые подробно описаны [https://otexts.com/fpp2/taxonomy.html здесь].

Следующие графики (рис. 9, 10) описывают прогнозы данных полученные для 2007 года, с использованием модели экспоненциального сглаживания (выбраны автоматически), которые подходили исходному и сезонно-чувствительному временному ряду. 

===ARIMA, SARIMA===
 
[[Файл:SARIMA.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] SARIMA]]
Также как и экспоненциальное сглаживание, интегрированная модель авторегрессии скользящего среднего (англ. autoregressive integrated moving average, ARIMA) также часто используются для прогноза временных рядов.

{{Определение
|definition =
'''Процесс авторегрессии''' {{---}} последовательная зависимость элементов временного ряда, выразается следующим уравнением:
$x(t) = \psi + \phi_1 * x_(t-1) + \phi_2 * x_(t-2) + \phi_3 * x_(t-3) + ... + \epsilon$ 
Где $\psi$ {{---}} свободный член (константа). 
$\phi_1, \phi_2, \phi_3, ...$ {{---}} параметры авторегрессии.
}}
{{Определение
|definition =
'''Скользящее среднее''' {{---}} общее название для семейства функций, значения которых в каждой точке определения равны некоторому среднему значению исходной функции за предыдущий период.
}}

{{Определение
|definition =
'''Процесс скользящего среднего''' {{---}} в процессе скользящего среднего каждый элемент ряда подвержен суммарному воздействию предыдущих ошибок. В общем виде это можно записать следующим образом:
$x_t = \mu + \epsilon_t - \theta_1 * \epsilon_{t-1} - \theta_2 * \epsilon_{t-2} - ...$ 
Где $\mu$ {{---}} константа. 
$\theta_1, \theta_2, \theta_3, ...$ {{---}} параметры скользящего среднего.
}}
[[Файл:SARIMA_Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 12.] SARIMA декомпозированная]]
ARIMA {{---}} комбинация этих двух подходов. Так как эти подходы требуются стационарности временного ряда, может понадобится продифференциировать/проинтегрировать ряд.
То есть рассматировать ряд разностей, а не исходный ряд.

Сезонная интегрированная модель авторегрессии скользящего среднего (англ. season autoregressive integrated moving average, SARIMA) учитывает сезонность, добавляя линейную комбинацию прошлых сезонных значений и/или прошлых ошибок прогноза.
Более подробную информацию про ARIMA, SARIMA читайте по [https://otexts.com/fpp2/arima.html ссылке].

Данные графики показывают предсказания полученные для 2007 года, с использованием модели SARIMA (рис. 11,12).

===Garch===
 
[[Файл:GARCH.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 13.] ARMA]] 

В предыдущих моделях считалось, что слагаемое ошибки в стохастическом процессе генерации временного ряда имело одинаковую дисперсию.

В GARСH-модели (англ. Generalized AutoRegressive Conditional Heteroscedasticity, GARCH) предполагается, что слагаемое ошибки следует авторегрессионному скользящему среднему (англ. AutoRegressive Moving Average, ARMA), соответственно слагаемое меняется по ходу времени. Это особенно полезно при моделировании финансовых временных рядов, так как диапазон изменений тоже постоянно меняется (рис. 13).

В 1982 году была предложена ARCH {{---}} модель, описываемая формулой: 

$\sigma^2(t) = \alpha + \sum_{i = 1}^{\alpha}b_ir^{2}_{t-1}$ 
где $\alpha$ {{---}} коэффициент задержки. ARCH модель моделирует волатильность в виде суммы базовой волатильности и линейной функции абсолютных значений нескольких последних изменений значений.

Позднее была создана GARCH {{---}} обобщённая ARCH модель, которая также учитывает предыдущие оценки дисперсии. Формула может быть записана так:
$\sigma^2(t) = \alpha + \sum_{i = 1}^{\alpha}b_ir^{2}_{t-1} \sum_{i = 1}^{p}c_i\sigma^{2}_{t-1}$ 
где p {{---}} количество предшествующих оценок, влияющих на текущее значение. 
с {{---}} весовые коэффициенты предыдущих оценок.

Обычно ARMA используется и для учёта среднего, более подробное введение в Garsh и различные варианты можно найти [https://cran.r-project.org/web/packages/rugarch/vignettes/Introduction_to_the_rugarch_package.pdf здесь]. 

===Динамические линейные модели===
[[Файл:DLM+Decomposition.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 14.] DLM]] 
Динамические линейные модели представляют другой класс моделей предсказания временных рядов (рис. 14).
Идея заключается в том, что в каждый момент времени $t$ эти модели соответствуют линейной модели, но коэффициент регрессии постоянно меняется. Пример динамической линейной модели ниже: 
$y(t) = ⍺(t) + tβ(t) + w(t)$, 
$⍺(t) = ⍺(t-1) + m(t)$, 
$β(t) = β(t-1) + r(t)$, 
$w(t)$ ~ $N(0,W)$, $m(t)$ ~ $N(0,M)$, $r(t)$ ~ $N(0,R)$. 

В предыдущей модели коэффициенты $a(t)$ и $b(t)$ следуют случайному блужданию.

Динамические линейные модели могут быть построены в рамках Байесовской системы. Тем не менее и этот метод можно улучшить, подробности [https://cran.r-project.org/web/packages/dlm/vignettes/dlm.pdf здесь]. 

===TBATS===
 
[[Файл:TBATS_Electrical.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 15.] DLM]]
TBATS (англ. Trigonometric seasonality, Box-Cox transformation, ARMA errors, Trend and Seasonal components) {{---}} это модели, которые основаны на экспоненциальном сглаживании (рис. 15). Главной особенностью TBATS является возможность взаимодействия с несколькими сезонностями. Моделируя каждую функцию сезонности отдельным тригонометрическим отображением построенным на [[L 2-теория рядов Фурье|рядах Фурье]]. Классическим примером комплексной сезонности будет отображение ежедневных объемов продаж, которое имеет, как еженедельные колебания, так и ежегодные. 

Больше информации можно прочиать [https://robjhyndman.com/papers/ComplexSeasonality.pdf тут]. 

===Prophet===
 
Ещё одна модель, способная взаимодействовать с несколькими сезонностями (рис. 16).
Это ПО с открытым исходным кодом от Фейсбука ([https://facebook.github.io/prophet/ ссылка]). 
[[Файл:Prophet.png |right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 16.] Prophet]]

Prophet считает, что временной ряд может быть разложен следующим образом: 
$y(t) = g(t) + s(t) + h(t) + ε(t)$, 
$g(t)$ {{---}} тренд, 
$s(t)$ {{---}} сезонность, 
$h(t)$ {{---}} каникулы, т.е аномальные данные, 
$ε(t)$ {{---}} ошибки. 

Подгонка модели представляет собой упражнение по подгонке кривой, поэтому она явно не учитывает структуру временной зависимости в данных. Это также позволяет проводить наблюдения с нерегулярным интервалом. 
Есть два варианта временных рядов тренда: модель насыщающего роста и кусочно-линейная модель. Модель многопериодной сезонности основана на рядах Фурье<ref>[[Определение ряда Фурье]]</ref>. Эффект известных и заказных выходных дней может быть легко включен в модель. 
Модель Prophet вставлена в байесовскую структуру и позволяет сделать полный апостериорный вывод, чтобы включить неопределенность параметров модели в неопределенность прогноза. 

===NNETAR===
 
[[Файл:NNETARElectriacalequipmntManufacturing.png |left|300px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 17.] NNETAR]]
Модель авторегрессии нейронной сети (англ. Neural NETwork AutoRegression, NNETAR) представляет собой полносвязную [https://neerc.ifmo.ru/wiki/index.php?title=Нейронные_сети,_перцептрон нейронную сеть].
Модель NNETAR принимает на вход последние элементы последовательности до момента времени $t$ и выводит прогнозируемое значение в момент времени $t + 1$. Для выполнения многоэтапных прогнозов сеть применяется итеративно.

Модель можно описать уравнением
$y_t = f(y_{t-1}) + \epsilon_t$ 
где $y_{t-1} = (y_{t-1}, y_{t-2}, ...)'$ {{---}} вектор, содержащий запаздывающие значения, 
f {{---}} нейронная сеть, с 4 скрытыми узлами в каждом слое, 
$\epsilon_t$ {{---}} считаем, что ряд ошибок [https://ru.wikipedia.org/wiki/Гомоскедастичность гомокседастичен] (и возможно имеет нормальное распределение). 
[[Файл:NNETARElectriacalequipmntManufacturingDecomposition.png |right|300px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 18.] NNETAR c декомпозицией]]

Мы можем моделировать будущие выборочные пути этой модели итеративно, случайным образом генерируя значение для $\epsilon_t$ либо из нормального распределения, либо путем повторной выборки из исторических значений. Так что если
$\epsilon^*_{T+1}$
{{---}} случайная выборка из распределения ошибок в момент времени $T+1$, тогда $y^*_{T+1} = f(y_T) + \epsilon^*_{T+1}$ {{---}} один из возможных вариантов распределения прогнозов для $y_{T+1}$ 
Установив $y^*_{T+1} = (y^*_{T+1}, y_{T})'$, мы можем повторить процесс, чтобы получить $y^*_{T+2} = f(y_{T+1}) + \epsilon_{T+2}$. 

Таким образом, мы можем итеративно моделировать будущий путь выборки. Повторно моделируя выборочные пути, мы накапливаем знания о распределении всех будущих значений на основе подобранной нейронной сети.

===LSTM===
 
Блок [[:Долгая_краткосрочная_память|cети долго-краткосрочной памяти]] (англ. Long short-term memory, LSTM) могут использоваться для прогнозирования временных рядов (а также других рекуррентных нейронных сетей). 
Состояние сети LSTM представлено через вектор пространства состояний. Этот метод позволяет отслеживать зависимости новых наблюдений от прошлых (даже очень далеких). 
Вообще говоря, LSTM представляют собой сложные модели, и они редко используются для прогнозирования одного временного ряда, поскольку для их оценки требуется большой объем данных. Однако они обычно используются, когда необходимы прогнозы для большого количества временных рядов (как показано [https://arxiv.org/abs/1704.04110 здесь]).

==Оценка==
[[Файл:Evaluation.png |right|600px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 19.] MAE с перекрестной проверкой для каждой модели]]
Выполнен выбор модели с помощью процедуры перекрестной проверки, описанной ранее. Не рассчитывая его для динамических линейных моделей и моделей LSTM из-за их высокой вычислительной стоимости и низкой производительности. 
На следующем рисунке показана [[Оценка качества в задачах классификации и регрессии|средняя абсолютная ошибка]] (англ. Mean Absolute Error, MAE) с перекрестной проверкой для каждой модели и для каждого временного горизонта (рис. 17):

Модель NNETAR по сезонно скорректированным данным была лучшей моделью для данной задачи, поскольку она соответствовала самому низкому значению MAE, прошедшему перекрестную проверку. 
Чтобы получить объективную оценку наилучшей производительности модели, вычислим MAE на тестовом наборе (рис. 18), получив оценку, равную 5,24. На следующем рисунке можно увидеть MAE, оцененную на тестовой выборке для каждого временного горизонта. 

[[Файл:Cross-validated MAE.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 20.] MAE, тестовый набор]]
 
=== Методы увеличения производительности===

*Использование разных моделей для разных временных горизонтов,
*Объединение нескольких прогнозов (например, с учетом среднего прогноза),
*Агрегация начальных данных.
 

==Заключительные замечания==
Большинство ранее описанных моделей позволяют легко включать изменяющиеся во времени предикторы. Они могут быть извлечены из одного и того же временного ряда или могут соответствовать внешним предикторам (например, временному ряду другого индекса). В последнем случае необходимо обратить внимание на то, чтобы не использовать информацию из будущего, которая могла бы быть удовлетворена путем прогнозирования предикторов или использования версий c ошибками. 

Обратите внимание, что в данном конспекте рассматривается случай, когда у нас есть один временной ряд для прогнозирования. Когда у нас много временных рядов, может быть предпочтительнее глобальный подход, поскольку он позволяет нам оценивать более сложную и потенциально более точную модель. Подробнее о глобальном подходе [https://arxiv.org/abs/1704.04110 здесь].

==См. Также==
* [[Кластеризация]]
* [[Уменьшение размерности]]
* [[Рекомендательные системы]]
* [[Анализ социальных сетей]]
* [[Графовые нейронные сети]]
* [[Компьютерное зрение]]

== Примечания ==
<references/>

==Источники Информации==
*[http://www.machinelearning.ru/wiki/index.php?title=Временной_ряд machinelearning.ru]
*[https://ru.wikipedia.org/wiki/Временной_ряд Википедия: Временной ряд]
*[http://statsoft.ru/home/textbook/modules/sttimser.html StatSoft: Анализ временных рядов]
*[https://chaos.phys.msu.ru/loskutov/PDF/Lectures_time_series_analysis.pdf Лоскутов А.Ю. физ. фак. МГУ: Анализ Временных Рядов]
*[https://wiki.loginom.ru/articles/garch-model.html loginom: Garch-модель]
*[https://otexts.com/fpp2/nnetar.html Otexts: NNETAR]
[[Категория: Машинное обучение]]
[[Категория: Анализ временных рядов]]

Анализ временных рядов

2021-01-20T14:39:33Z

Cga: /* NNETAR */

Временные ряды {{---}} это актуальный инструмент, применимый во множестве решений, от предсказания цен на акции, прогнозов погоды, планирования бизнеса, до распределения ресурсов. Несмотря на то, что прогнозирование может быть сведено к построению контролируемой [[Вариации регрессии|регрессии]], существуют особенности, связанные с временным характером наблюдений, которые необходимо учитывать, используя специальные инструменты. 

==Временной ряд==
 
{{Определение
|definition =
'''Временно́й ряд (или ряд динамики)''' {{---}} собранный в разные моменты времени статистический материал о значении каких-либо параметров (в простейшем случае одного) исследуемого процесса. Каждая единица статистического материала называется измерением или отсчётом. Во временном ряде для каждого отсчёта должно быть указано время измерения или номер измерения по порядку.
}}

Как и большинство других видов анализа, анализ временных рядов предполагает, что данные содержат систематическую составляющую (обычно включающую несколько компонент) и случайный шум (ошибку), который затрудняет обнаружение регулярных компонент. Большинство методов исследования временных рядов включает различные способы фильтрации шума, позволяющие увидеть регулярную составляющую более отчетливо. Большинство регулярных составляющих временных рядов принадлежит к двум классам: они являются либо трендом, либо сезонной составляющей. Тренд представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Сезонная составляющая {{---}} это периодически повторяющаяся компонента. Оба эти вида регулярных компонент часто присутствуют в ряде одновременно.

==Валидирование и тестирование модели временного ряда==
 
Данные упорядочены относительно неслучайных моментов времени, и, значит, в отличие от случайных выборок, могут содержать в себе дополнительную информацию, поэтому нельзя пользоваться обычными способами валидации. Чтобы избежать смещения оценки необходимо удостовериться, что обучающие наборы данных содержат только наблюдения, которые произошли до событий из валидирующиx наборов. 
[[Файл:TimeSeriesCross-validation.png |thumb|left|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 1.] Кросс-валидация временного ряда]] 

Возможным способом преодоления данной проблемы будет использование скользящего окна, как описано [https://robjhyndman.com/hyndsight/tscv/ здесь]. Эта процедура называется [[Кросс-валидация|кросс-валидацией]] временного ряда и может быть вкратце описана следующей картинкой (рис. 1), в которой синие точки обозначают тренировочный набор данных, а красные соответствующие валидационные наборы данных. 

Если необходимо предсказать следующие $n$ шагов, то можно заранее кросс-валидировать $1,2,...,n$. Таким образом можно также сравнить качество предсказаний для разных временных горизонтов. 

Определив лучшую модель, можно применить её ко всему обучающему набору и оценить его работу на следующем во времени наборе данных. Оценка работы может быть дана с использованием метода скользящего окна<ref>[https://wiki.loginom.ru/articles/windowing-method.html loginom: Метод скользящего окна]</ref>, который используем при кросс-валидации, но без переподсчёта параметра модели.

==Краткое исследование данных==
[[Файл:ManufactureOfElectricalEquipment.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 2.] Набор данных описывающий график производства электрооборудования]] 

В данной части используется несколько разных моделей для предсказания изменений в промышленном производстве, которые для примера будем оценивать численно, как количество электрооборудования, произведённого в зоне Евро (рис. 2, 3). 
[[Файл:SeasonalPlotMonthluSeasonalPattern.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 3.] Сезонные колебания]]
Набор данных описывает ежемесячное производство электрооборудования (компьютеры электрические и оптические приборы) в зоне евро (17 стран) в период с января 1996 по март 2012 года (см. график ниже). Последние два года будем использовать при тестировании. 

==Модели прогнозирования временных рядов==

Существует 10 моделей прогнозирования, у каждой имеются свои достоинства и недостатки. Ниже, используя каждую модель, предскажем 12 месяцев, соответственно, значение $t+1, t+2, …, t + 12$.
Имеет смысл использовать среднюю абсолютную ошибку для работы оценки модели. 

===Наивное предсказание===
[[Файл:NaiveElectricalEquipmentManufacturing.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 4.] Наивная]] 

Предсказания для каждого горизонта соотвествуют последнему наблюдаемому значению
$Y(t + h|t) = Y(t)$.

Такие предскания предполагают, что стохастическая<ref>[https://ru.wikipedia.org/wiki/Стохастичность Википедия: Стохастичность]</ref> модель генерирует [[Участник:Mk17.ru|случайное блуждание]]. 
[[Файл:SeasonalNaiveElectricalEquipmentManufacturing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 5.] Cезонно-наивная]] 
Расширение наивной модели сезонно-наивная модель (англ. Season Naive, SNAIVE) {{---}} сезонно-наивная модель предполагает, что временной ряд имеет сезонную компоненту, и что период сезонности $T$. 

Прогнозы SNAIVE-модели описываются формулой $\dot{Y}(t+h|t) = Y(t+h-T)$.

Получаемые прогнозы следующие $T$ шагов совпадают с предыдущими $T$ шагами.
Эти модели часто используются как ориентировочные модели. Следующий графики показывают предсказания двух моделей для 2007 года (рис. 4, 5). 

===Разделение по сезонам + любая модель===
[[Файл:STL_docompositionOnIndustrialProductionIndexData.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 6.] Методы разложения ряда]] 
Если данные показывают, что они восприимчивы к периодическим (сезонным) изменениям (ежедневно, еженедельно, ежеквартально, ежегодно), то будет полезным разложить исходный временной ряд на сумму трёх компонентов. 

$Y(t) = S(t) + T(t) + R(t)$ 
$S(t)$ {{---}} сезонный компонент. 
$T(t)$ {{---}} компонент трендового цикла. 
$R(t)$ {{---}} остаток. 
Существуют несколько способов для такого разложения, но наиболее простой называется классическим разложением и заключается в том, чтобы оценить тренд $T(t)$ через скользящее среднее, посчитать $S(t)$, как среднее без тренда $Y(t) - T(t)$ для каждого сезона. 
Посчитать остаток, как $R(t) = Y(t) - T(t)-S(t)$. 
[[Файл:SeasonallyAdjustedIndustrial.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 7.] Сезонные индексы ряда]]
Классическое разложение можно расширить несколькими способами. 
Расширение позволяет использовать данный метод при:
* непостоянной величине сезона;
* посчитать начальные и конечные значения декомпозиции;
* избежать лишнего сглаживания;

Обзор методов разложений ряда можно увидеть по [https://otexts.com/fpp2/decomposition.html ссылке]. Используется реализация из стандартной библиотеки (рис. 6). 

Одним из способов использования декомпозиции для прогнозирования будет: 
1) Разложить обучающий набор алгоритмом. 
2) Посчитать сезонное отклонение ряда $Y(t) - S(t)$, используя любую модель для прогнозирования сезонно-чувствительного временного ряда. 
3) Добавить прогнозам сезонность последнего временного периода во временном ряду (в нашем случае $S(t)$ для прошлого года). 
[[Файл:SeasonallyAdjustedTimeSeries.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 8.] Декомпозиция и наивная модель]] 
На следующем графике показаны сезонные индексы ряда с учётом сезонности (рис. 7).

Следующий график показывает расчёты для 2007 года с использованием декомпозиции и наивной модели (рис. 8) для сезонно-изменяемого временного ряда. 

===Экспоненциальное сглаживание ===
 
[[Файл:ExpSmoothing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 9.] Данные полученные для 2007 года с использованием модели экспоненциального сглаживания]]
Экспоненциальное сглаживание<ref>[https://ru.wikipedia.org/wiki/Экспоненциальное_сглаживание Википедия: Экспоненциальное сглаживание]</ref> {{---}} один из наиболее успешных классических методов предсказаний. В своей базовой форме он называется простым экспоненциальный сглаживанием и его прогнозы описываются формулами:
$Ŷ(t+h|t) = ⍺y(t) + ⍺(1-⍺)y(t-1) + ⍺(1-⍺)²y(t-2) + …$ 
где''''' $0<⍺<1$ '''''. Если $⍺ = 0$, то текущие наблюдения игнорируются, если же $⍺ = 1$, то полностью игнорируются предыдущие наблюдения. 
[[Файл:ExpSmoothing+Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 10.] Данные полученные для 2007 года, с использованием модели экспоненциального сглаживания и декомпозиции]]

Заметно, что прогнозы равны взвешенному среднему от старых наблюдений, и что соответствующие веса убывают экспоненциально по мере хода времени.

Некоторые методы для расширения алгоритма позволяют добавить тренд, его затухание и сезонность.
Экспоненциальное сглаживание состоит из 9 моделей, которые подробно описаны [https://otexts.com/fpp2/taxonomy.html здесь].

Следующие графики (рис. 9, 10) описывают прогнозы данных полученные для 2007 года, с использованием модели экспоненциального сглаживания (выбраны автоматически), которые подходили исходному и сезонно-чувствительному временному ряду. 

===ARIMA, SARIMA===
 
[[Файл:SARIMA.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] SARIMA]]
Также как и экспоненциальное сглаживание, интегрированная модель авторегрессии скользящего среднего (англ. autoregressive integrated moving average, ARIMA) также часто используются для прогноза временных рядов.

{{Определение
|definition =
'''Процесс авторегрессии''' {{---}} последовательная зависимость элементов временного ряда, выразается следующим уравнением:
$x(t) = \psi + \phi_1 * x_(t-1) + \phi_2 * x_(t-2) + \phi_3 * x_(t-3) + ... + \epsilon$ 
Где $\psi$ {{---}} свободный член (константа). 
$\phi_1, \phi_2, \phi_3, ...$ {{---}} параметры авторегрессии.
}}
{{Определение
|definition =
'''Скользящее среднее''' {{---}} общее название для семейства функций, значения которых в каждой точке определения равны некоторому среднему значению исходной функции за предыдущий период.
}}

{{Определение
|definition =
'''Процесс скользящего среднего''' {{---}} в процессе скользящего среднего каждый элемент ряда подвержен суммарному воздействию предыдущих ошибок. В общем виде это можно записать следующим образом:
$x_t = \mu + \epsilon_t - \theta_1 * \epsilon_{t-1} - \theta_2 * \epsilon_{t-2} - ...$ 
Где $\mu$ {{---}} константа. 
$\theta_1, \theta_2, \theta_3, ...$ {{---}} параметры скользящего среднего.
}}
[[Файл:SARIMA_Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 12.] SARIMA декомпозированная]]
ARIMA {{---}} комбинация этих двух подходов. Так как эти подходы требуются стационарности временного ряда, может понадобится продифференциировать/проинтегрировать ряд.
То есть рассматировать ряд разностей, а не исходный ряд.

Сезонная интегрированная модель авторегрессии скользящего среднего (англ. season autoregressive integrated moving average, SARIMA) учитывает сезонность, добавляя линейную комбинацию прошлых сезонных значений и/или прошлых ошибок прогноза.
Более подробную информацию про ARIMA, SARIMA читайте по [https://otexts.com/fpp2/arima.html ссылке].

Данные графики показывают предсказания полученные для 2007 года, с использованием модели SARIMA (рис. 11,12).

===Garch===
 
[[Файл:GARCH.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 13.] ARMA]] 

В предыдущих моделях считалось, что слагаемое ошибки в стохастическом процессе генерации временного ряда имело одинаковую дисперсию.

В GARСH-модели (англ. Generalized AutoRegressive Conditional Heteroscedasticity, GARCH) предполагается, что слагаемое ошибки следует авторегрессионному скользящему среднему (англ. AutoRegressive Moving Average, ARMA), соответственно слагаемое меняется по ходу времени. Это особенно полезно при моделировании финансовых временных рядов, так как диапазон изменений тоже постоянно меняется (рис. 13).

В 1982 году была предложена ARCH {{---}} модель, описываемая формулой: 

$\sigma^2(t) = \alpha + \sum_{i = 1}^{\alpha}b_ir^{2}_{t-1}$ 
где $\alpha$ {{---}} коэффициент задержки. ARCH модель моделирует волатильность в виде суммы базовой волатильности и линейной функции абсолютных значений нескольких последних изменений значений.

Позднее была создана GARCH {{---}} обобщённая ARCH модель, которая также учитывает предыдущие оценки дисперсии. Формула может быть записана так:
$\sigma^2(t) = \alpha + \sum_{i = 1}^{\alpha}b_ir^{2}_{t-1} \sum_{i = 1}^{p}c_i\sigma^{2}_{t-1}$ 
где p {{---}} количество предшествующих оценок, влияющих на текущее значение. 
с {{---}} весовые коэффициенты предыдущих оценок.

Обычно ARMA используется и для учёта среднего, более подробное введение в Garsh и различные варианты можно найти [https://cran.r-project.org/web/packages/rugarch/vignettes/Introduction_to_the_rugarch_package.pdf здесь]. 

===Динамические линейные модели===
[[Файл:DLM+Decomposition.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 14.] DLM]] 
Динамические линейные модели представляют другой класс моделей предсказания временных рядов (рис. 14).
Идея заключается в том, что в каждый момент времени $t$ эти модели соответствуют линейной модели, но коэффициент регрессии постоянно меняется. Пример динамической линейной модели ниже: 
$y(t) = ⍺(t) + tβ(t) + w(t)$, 
$⍺(t) = ⍺(t-1) + m(t)$, 
$β(t) = β(t-1) + r(t)$, 
$w(t)$ ~ $N(0,W)$, $m(t)$ ~ $N(0,M)$, $r(t)$ ~ $N(0,R)$. 

В предыдущей модели коэффициенты $a(t)$ и $b(t)$ следуют случайному блужданию.

Динамические линейные модели могут быть построены в рамках Байесовской системы. Тем не менее и этот метод можно улучшить, подробности [https://cran.r-project.org/web/packages/dlm/vignettes/dlm.pdf здесь]. 

===TBATS===
 
[[Файл:TBATS_Electrical.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 15.] DLM]]
TBATS (англ. Trigonometric seasonality, Box-Cox transformation, ARMA errors, Trend and Seasonal components) {{---}} это модели, которые основаны на экспоненциальном сглаживании (рис. 15). Главной особенностью TBATS является возможность взаимодействия с несколькими сезонностями. Моделируя каждую функцию сезонности отдельным тригонометрическим отображением построенным на [[L 2-теория рядов Фурье|рядах Фурье]]. Классическим примером комплексной сезонности будет отображение ежедневных объемов продаж, которое имеет, как еженедельные колебания, так и ежегодные. 

Больше информации можно прочиать [https://robjhyndman.com/papers/ComplexSeasonality.pdf тут]. 

===Prophet===
 
Ещё одна модель, способная взаимодействовать с несколькими сезонностями (рис. 16).
Это ПО с открытым исходным кодом от Фейсбука ([https://facebook.github.io/prophet/ ссылка]). 
[[Файл:Prophet.png |right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 16.] Prophet]]

Prophet считает, что временной ряд может быть разложен следующим образом: 
$y(t) = g(t) + s(t) + h(t) + ε(t)$, 
$g(t)$ {{---}} тренд, 
$s(t)$ {{---}} сезонность, 
$h(t)$ {{---}} каникулы, т.е аномальные данные, 
$ε(t)$ {{---}} ошибки. 

Подгонка модели представляет собой упражнение по подгонке кривой, поэтому она явно не учитывает структуру временной зависимости в данных. Это также позволяет проводить наблюдения с нерегулярным интервалом. 
Есть два варианта временных рядов тренда: модель насыщающего роста и кусочно-линейная модель. Модель многопериодной сезонности основана на рядах Фурье<ref>[[Определение ряда Фурье]]</ref>. Эффект известных и заказных выходных дней может быть легко включен в модель. 
Модель Prophet вставлена в байесовскую структуру и позволяет сделать полный апостериорный вывод, чтобы включить неопределенность параметров модели в неопределенность прогноза. 

===NNETAR===
 
[[Файл:NNETARElectriacalequipmntManufacturing.png |left|300px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 17.] NNETAR]]
Модель авторегрессии нейронной сети (англ. Neural NETwork AutoRegression, NNETAR) представляет собой полносвязную [https://neerc.ifmo.ru/wiki/index.php?title=Нейронные_сети,_перцептрон нейронную сеть].
Модель NNETAR принимает на вход последние элементы последовательности до момента времени $t$ и выводит прогнозируемое значение в момент времени $t + 1$. Для выполнения многоэтапных прогнозов сеть применяется итеративно.

Модель можно описать уравнением
$y_t = f(y_{t-1}) + \epsilon_t$ 
где $y_{t-1} = (y_{t-1}, y_{t-2}, ...)'$ {{---}} вектор, содержащий запаздывающие значения, 
f {{---}} нейронная сеть, с 4 скрытыми узлами в каждом слое, 
$\epsilon_t$ {{---}} считаем, что ряд ошибок [https://ru.wikipedia.org/wiki/Гомоскедастичность гомокседастичен] (и возможно имеет нормальное распределение). 
[[Файл:NNETARElectriacalequipmntManufacturingDecomposition.png |right|300px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 18.] NNETAR c декомпозицией]]

Мы можем моделировать будущие выборочные пути этой модели итеративно, случайным образом генерируя значение для $\epsilon_t$ либо из нормального распределения, либо путем повторной выборки из исторических значений. Так что если
$\epsilon^*_{T+1}$
{{---}} случайная выборка из распределения ошибок в момент времени $T+1$, тогда $y^*_{T+1} = f(y_T) + \epsilon^*_{T+1}$ {{---}} один из возможных вариантов распределения прогнозов для $y_{T+1}$ 
Установив $y^*_{T+1} = (y^*_{T+1}, y_{T})'$, мы можем повторить процесс, чтобы получить $y^*_{T+2} = f(y_{T+1}) + \epsilon_{T+2}$. 

Таким образом, мы можем итеративно моделировать будущий путь выборки. Повторно моделируя выборочные пути, мы накапливаем знания о распределении всех будущих значений на основе подобранной нейронной сети.

===LSTM===
 
Блок [[:Долгая_краткосрочная_память|cети долго-краткосрочной памяти]] (англ. Long short-term memory, LSTM) могут использоваться для прогнозирования временных рядов (а также других рекуррентных нейронных сетей). 
Состояние сети LSTM представлено через вектор пространства состояний. Этот метод позволяет отслеживать зависимости новых наблюдений от прошлых (даже очень далеких). 
Вообще говоря, LSTM представляют собой сложные модели, и они редко используются для прогнозирования одного временного ряда, поскольку для их оценки требуется большой объем данных. Однако они обычно используются, когда необходимы прогнозы для большого количества временных рядов (как показано [https://arxiv.org/abs/1704.04110 здесь]).

==Оценка==
[[Файл:Evaluation.png |right|600px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 19.] MAE с перекрестной проверкой для каждой модели]]
Выполнен выбор модели с помощью процедуры перекрестной проверки, описанной ранее. Не рассчитывая его для динамических линейных моделей и моделей LSTM из-за их высокой вычислительной стоимости и низкой производительности. 
На следующем рисунке показана [[Оценка качества в задачах классификации и регрессии|средняя абсолютная ошибка]] (англ. Mean Absolute Error, MAE) с перекрестной проверкой для каждой модели и для каждого временного горизонта (рис. 17):

Модель NNETAR по сезонно скорректированным данным была лучшей моделью для данной задачи, поскольку она соответствовала самому низкому значению MAE, прошедшему перекрестную проверку. 
Чтобы получить объективную оценку наилучшей производительности модели, вычислим MAE на тестовом наборе (рис. 18), получив оценку, равную 5,24. На следующем рисунке можно увидеть MAE, оцененную на тестовой выборке для каждого временного горизонта. 

[[Файл:Cross-validated MAE.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 20.] MAE, тестовый набор]]
 
=== Методы увеличения производительности===

*Использование разных моделей для разных временных горизонтов,
*Объединение нескольких прогнозов (например, с учетом среднего прогноза),
*Агрегация начальных данных.
 

==Заключительные замечания==
Большинство ранее описанных моделей позволяют легко включать изменяющиеся во времени предикторы. Они могут быть извлечены из одного и того же временного ряда или могут соответствовать внешним предикторам (например, временному ряду другого индекса). В последнем случае необходимо обратить внимание на то, чтобы не использовать информацию из будущего, которая могла бы быть удовлетворена путем прогнозирования предикторов или использования версий c ошибками. 

Обратите внимание, что в данном конспекте рассматривается случай, когда у нас есть один временной ряд для прогнозирования. Когда у нас много временных рядов, может быть предпочтительнее глобальный подход, поскольку он позволяет нам оценивать более сложную и потенциально более точную модель. Подробнее о глобальном подходе [https://arxiv.org/abs/1704.04110 здесь].

==См. Также==
* [[Кластеризация]]
* [[Уменьшение размерности]]
* [[Рекомендательные системы]]
* [[Анализ социальных сетей]]
* [[Графовые нейронные сети]]
* [[Компьютерное зрение]]

== Примечания ==
<references/>

==Источники Информации==
*[http://www.machinelearning.ru/wiki/index.php?title=Временной_ряд machinelearning.ru]
*[https://ru.wikipedia.org/wiki/Временной_ряд Википедия: Временной ряд]
*[http://statsoft.ru/home/textbook/modules/sttimser.html StatSoft: Анализ временных рядов]
*[https://chaos.phys.msu.ru/loskutov/PDF/Lectures_time_series_analysis.pdf Лоскутов А.Ю. физ. фак. МГУ: Анализ Временных Рядов]
[[Категория: Машинное обучение]]
[[Категория: Анализ временных рядов]]

Анализ временных рядов

2021-01-20T01:28:56Z

Cga: /* Garch */

Временные ряды {{---}} это актуальный инструмент, применимый во множестве решений, от предсказания цен на акции, прогнозов погоды, планирования бизнеса, до распределения ресурсов. Несмотря на то, что прогнозирование может быть сведено к построению контролируемой [[Вариации регрессии|регрессии]], существуют особенности, связанные с временным характером наблюдений, которые необходимо учитывать, используя специальные инструменты. 

==Временной ряд==
 
{{Определение
|definition =
'''Временно́й ряд (или ряд динамики)''' {{---}} собранный в разные моменты времени статистический материал о значении каких-либо параметров (в простейшем случае одного) исследуемого процесса. Каждая единица статистического материала называется измерением или отсчётом. Во временном ряде для каждого отсчёта должно быть указано время измерения или номер измерения по порядку.
}}

Как и большинство других видов анализа, анализ временных рядов предполагает, что данные содержат систематическую составляющую (обычно включающую несколько компонент) и случайный шум (ошибку), который затрудняет обнаружение регулярных компонент. Большинство методов исследования временных рядов включает различные способы фильтрации шума, позволяющие увидеть регулярную составляющую более отчетливо. Большинство регулярных составляющих временных рядов принадлежит к двум классам: они являются либо трендом, либо сезонной составляющей. Тренд представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Сезонная составляющая {{---}} это периодически повторяющаяся компонента. Оба эти вида регулярных компонент часто присутствуют в ряде одновременно.

==Валидирование и тестирование модели временного ряда==
 
Данные упорядочены относительно неслучайных моментов времени, и, значит, в отличие от случайных выборок, могут содержать в себе дополнительную информацию, поэтому нельзя пользоваться обычными способами валидации. Чтобы избежать смещения оценки необходимо удостовериться, что обучающие наборы данных содержат только наблюдения, которые произошли до событий из валидирующиx наборов. 
[[Файл:TimeSeriesCross-validation.png |thumb|left|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 1.] Кросс-валидация временного ряда]] 

Возможным способом преодоления данной проблемы будет использование скользящего окна, как описано [https://robjhyndman.com/hyndsight/tscv/ здесь]. Эта процедура называется [[Кросс-валидация|кросс-валидацией]] временного ряда и может быть вкратце описана следующей картинкой (рис. 1), в которой синие точки обозначают тренировочный набор данных, а красные соответствующие валидационные наборы данных. 

Если необходимо предсказать следующие $n$ шагов, то можно заранее кросс-валидировать $1,2,...,n$. Таким образом можно также сравнить качество предсказаний для разных временных горизонтов. 

Определив лучшую модель, можно применить её ко всему обучающему набору и оценить его работу на следующем во времени наборе данных. Оценка работы может быть дана с использованием метода скользящего окна<ref>[https://wiki.loginom.ru/articles/windowing-method.html loginom: Метод скользящего окна]</ref>, который используем при кросс-валидации, но без переподсчёта параметра модели.

==Краткое исследование данных==
[[Файл:ManufactureOfElectricalEquipment.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 2.] Набор данных описывающий график производства электрооборудования]] 

В данной части используется несколько разных моделей для предсказания изменений в промышленном производстве, которые для примера будем оценивать численно, как количество электрооборудования, произведённого в зоне Евро (рис. 2, 3). 
[[Файл:SeasonalPlotMonthluSeasonalPattern.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 3.] Сезонные колебания]]
Набор данных описывает ежемесячное производство электрооборудования (компьютеры электрические и оптические приборы) в зоне евро (17 стран) в период с января 1996 по март 2012 года (см. график ниже). Последние два года будем использовать при тестировании. 

==Модели прогнозирования временных рядов==

Существует 10 моделей прогнозирования, у каждой имеются свои достоинства и недостатки. Ниже, используя каждую модель, предскажем 12 месяцев, соответственно, значение $t+1, t+2, …, t + 12$.
Имеет смысл использовать среднюю абсолютную ошибку для работы оценки модели. 

===Наивное предсказание===
[[Файл:NaiveElectricalEquipmentManufacturing.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 4.] Наивная]] 

Предсказания для каждого горизонта соотвествуют последнему наблюдаемому значению
$Y(t + h|t) = Y(t)$.

Такие предскания предполагают, что стохастическая<ref>[https://ru.wikipedia.org/wiki/Стохастичность Википедия: Стохастичность]</ref> модель генерирует [[Участник:Mk17.ru|случайное блуждание]]. 
[[Файл:SeasonalNaiveElectricalEquipmentManufacturing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 5.] Cезонно-наивная]] 
Расширение наивной модели сезонно-наивная модель (англ. Season Naive, SNAIVE) {{---}} сезонно-наивная модель предполагает, что временной ряд имеет сезонную компоненту, и что период сезонности $T$. 

Прогнозы SNAIVE-модели описываются формулой $\dot{Y}(t+h|t) = Y(t+h-T)$.

Получаемые прогнозы следующие $T$ шагов совпадают с предыдущими $T$ шагами.
Эти модели часто используются как ориентировочные модели. Следующий графики показывают предсказания двух моделей для 2007 года (рис. 4, 5). 

===Разделение по сезонам + любая модель===
[[Файл:STL_docompositionOnIndustrialProductionIndexData.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 6.] Методы разложения ряда]] 
Если данные показывают, что они восприимчивы к периодическим (сезонным) изменениям (ежедневно, еженедельно, ежеквартально, ежегодно), то будет полезным разложить исходный временной ряд на сумму трёх компонентов. 

$Y(t) = S(t) + T(t) + R(t)$ 
$S(t)$ {{---}} сезонный компонент. 
$T(t)$ {{---}} компонент трендового цикла. 
$R(t)$ {{---}} остаток. 
Существуют несколько способов для такого разложения, но наиболее простой называется классическим разложением и заключается в том, чтобы оценить тренд $T(t)$ через скользящее среднее, посчитать $S(t)$, как среднее без тренда $Y(t) - T(t)$ для каждого сезона. 
Посчитать остаток, как $R(t) = Y(t) - T(t)-S(t)$. 
[[Файл:SeasonallyAdjustedIndustrial.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 7.] Сезонные индексы ряда]]
Классическое разложение можно расширить несколькими способами. 
Расширение позволяет использовать данный метод при:
* непостоянной величине сезона;
* посчитать начальные и конечные значения декомпозиции;
* избежать лишнего сглаживания;

Обзор методов разложений ряда можно увидеть по [https://otexts.com/fpp2/decomposition.html ссылке]. Используется реализация из стандартной библиотеки (рис. 6). 

Одним из способов использования декомпозиции для прогнозирования будет: 
1) Разложить обучающий набор алгоритмом. 
2) Посчитать сезонное отклонение ряда $Y(t) - S(t)$, используя любую модель для прогнозирования сезонно-чувствительного временного ряда. 
3) Добавить прогнозам сезонность последнего временного периода во временном ряду (в нашем случае $S(t)$ для прошлого года). 
[[Файл:SeasonallyAdjustedTimeSeries.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 8.] Декомпозиция и наивная модель]] 
На следующем графике показаны сезонные индексы ряда с учётом сезонности (рис. 7).

Следующий график показывает расчёты для 2007 года с использованием декомпозиции и наивной модели (рис. 8) для сезонно-изменяемого временного ряда. 

===Экспоненциальное сглаживание ===
 
[[Файл:ExpSmoothing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 9.] Данные полученные для 2007 года с использованием модели экспоненциального сглаживания]]
Экспоненциальное сглаживание<ref>[https://ru.wikipedia.org/wiki/Экспоненциальное_сглаживание Википедия: Экспоненциальное сглаживание]</ref> {{---}} один из наиболее успешных классических методов предсказаний. В своей базовой форме он называется простым экспоненциальный сглаживанием и его прогнозы описываются формулами:
$Ŷ(t+h|t) = ⍺y(t) + ⍺(1-⍺)y(t-1) + ⍺(1-⍺)²y(t-2) + …$ 
где''''' $0<⍺<1$ '''''. Если $⍺ = 0$, то текущие наблюдения игнорируются, если же $⍺ = 1$, то полностью игнорируются предыдущие наблюдения. 
[[Файл:ExpSmoothing+Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 10.] Данные полученные для 2007 года, с использованием модели экспоненциального сглаживания и декомпозиции]]

Заметно, что прогнозы равны взвешенному среднему от старых наблюдений, и что соответствующие веса убывают экспоненциально по мере хода времени.

Некоторые методы для расширения алгоритма позволяют добавить тренд, его затухание и сезонность.
Экспоненциальное сглаживание состоит из 9 моделей, которые подробно описаны [https://otexts.com/fpp2/taxonomy.html здесь].

Следующие графики (рис. 9, 10) описывают прогнозы данных полученные для 2007 года, с использованием модели экспоненциального сглаживания (выбраны автоматически), которые подходили исходному и сезонно-чувствительному временному ряду. 

===ARIMA, SARIMA===
 
[[Файл:SARIMA.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] SARIMA]]
Также как и экспоненциальное сглаживание, интегрированная модель авторегрессии скользящего среднего (англ. autoregressive integrated moving average, ARIMA) также часто используются для прогноза временных рядов.

{{Определение
|definition =
'''Авторегрессионная модель''' {{---}} модель временных рядов, в которой значения временного ряда в данный момент линейно зависят от предыдущих значений этого же ряда.
}}
{{Определение
|definition =
'''Процесс авторегрессии''' {{---}} последовательная зависимость элементов временного ряда, выразается следующим уравнением:
$x(t) = \psi + \phi_1 * x_(t-1) + \phi_2 * x_(t-2) + \phi_3 * x_(t-3) + ... + \epsilon$ 
Где $\psi$ {{---}} свободный член (константа). 
$\phi_1, \phi_2, \phi_3, ...$ {{---}} параметры авторегрессии.
}}
{{Определение
|definition =
'''Скользящее среднее''' {{---}} общее название для семейства функций, значения которых в каждой точке определения равны некоторому среднему значению исходной функции за предыдущий период.
}}

{{Определение
|definition =
'''Процесс скользящего среднего''' {{---}} в процессе скользящего среднего каждый элемент ряда подвержен суммарному воздействию предыдущих ошибок. В общем виде это можно записать следующим образом:
$x_t = \mu + \epsilon_t - \theta_1 * \epsilon_{t-1} - \theta_2 * \epsilon_{t-2} - ...$ 
Где $\mu$ {{---}} константа. 
$\theta_1, \theta_2, \theta_3, ...$ {{---}} параметры скользящего среднего.
}}
[[Файл:SARIMA_Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 12.] SARIMA декомпозированная]]
ARIMA {{---}} комбинация этих двух подходов. Так как эти подходы требуются стационарности временного ряда, может понадобится продифференциировать/проинтегрировать ряд.
То есть рассматировать ряд разностей, а не исходный ряд.

Сезонная интегрированная модель авторегрессии скользящего среднего (англ. season autoregressive integrated moving average, SARIMA) учитывает сезонность, добавляя линейную комбинацию прошлых сезонных значений и/или прошлых ошибок прогноза.
Более подробную информацию про ARIMA, SARIMA читайте по [https://otexts.com/fpp2/arima.html ссылке].

Данные графики показывают предсказания полученные для 2007 года, с использованием модели SARIMA (рис. 11,12).

===Garch===
 
[[Файл:GARCH.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 13.] ARMA]] 

В предыдущих моделях считалось, что слагаемое ошибки в стохастическом процессе генерации временного ряда имело одинаковую дисперсию.

В GARСH-модели (англ. Generalized AutoRegressive Conditional Heteroscedasticity, GARCH) предполагается, что слагаемое ошибки следуют авторегрессионному скользящему среднему (англ. AutoRegressive Moving Average, ARMA), соответственно слагаемое меняется по ходу времени. Это особенно полезно при моделировании финансовых временных рядов, так как диапазон изменений тоже постоянно меняется (рис. 13).

В 1982 году была предложена ARCH - модель, описываемая формулой: 

$\sigma^2(t) = \alpha + \sum_{i = 1}^{\alpha}b_ir^{2}_{t-1}$ 
где $\alpha$ {---} коэффициент задержки. ARCH модель моделирует волатильность в виде суммы базовой волатильности и линейной функции абсолютных значений нескольких последних изменений значений.

Позднее была создана GARCH {---} обощённая ARCH модель, которая также учитывает предыдущие оценки дисперсии. Формула может быть записана так:
$\sigma^2(t) = \alpha + \sum_{i = 1}^{\alpha}b_ir^{2}_{t-1} \sum_{i = 1}^{p}c_i\sigma^{2}_{t-1}$ 
где p {---} количество предществующих оценок, влияющих на текущее значение 
с {---} весовые коэффициенты предыдущих оценок.

Обычно ARMA используется и для учёта среднего, более подробное введение в Garsh и различные варианты можно найти [https://cran.r-project.org/web/packages/rugarch/vignettes/Introduction_to_the_rugarch_package.pdf здесь]. 

===Динамические линейные модели===
[[Файл:DLM+Decomposition.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 14.] DLM]] 
Динамические линейные модели представляют другой класс моделей предсказания временных рядов (рис. 14).
Идея заключается в том, что в каждый момент времени $t$ эти модели соответствуют линейной модели, но коэффициент регрессии постоянно меняется. Пример динамической линейной модели ниже: 
$y(t) = ⍺(t) + tβ(t) + w(t)$, 
$⍺(t) = ⍺(t-1) + m(t)$, 
$β(t) = β(t-1) + r(t)$, 
$w(t)$ ~ $N(0,W)$, $m(t)$ ~ $N(0,M)$, $r(t)$ ~ $N(0,R)$. 

В предыдущей модели коэффициенты $a(t)$ и $b(t)$ следуют случайному блужданию.

Динамические линейные модели могут быть построены в рамках Байесовской системы. Тем не менее и этот метод можно улучшить, подробности [https://cran.r-project.org/web/packages/dlm/vignettes/dlm.pdf здесь]. 

===TBATS===
 
[[Файл:TBATS_Electrical.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 15.] DLM]]
TBATS (англ. Trigonometric seasonality, Box-Cox transformation, ARMA errors, Trend and Seasonal components) {{---}} это модели, которые основаны на экспоненциальном сглаживании (рис. 15). Главной особенностью TBATS является возможность взаимодействия с несколькими сезонностями. Моделируя каждую функцию сезонности отдельным тригонометрическим отображением построенным на [[L 2-теория рядов Фурье|рядах Фурье]]. Классическим примером комплексной сезонности будет отображение ежедневных объемов продаж, которые имеет, как еженедельные колебания, так и ежегодные. 

Больше информации можно прочиать [https://robjhyndman.com/papers/ComplexSeasonality.pdf тут]. 

===Prophet===
 
Ещё одна модель, способная взаимодействовать с несколькими сезонностями (рис. 16).
Это ПО с открытым исходным кодом от Фейсбука ([https://facebook.github.io/prophet/ ссылка]). 
[[Файл:Prophet.png |right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 16.] Prophet]]

Prophet считает, что временной ряд может быть разложен следующим образом: 
$y(t) = g(t) + s(t) + h(t) + ε(t)$, 
$g(t)$ {{---}} тренд, 
$s(t)$ {{---}} сезонность, 
$h(t)$ {{---}} каникулы, т.е аномальные данные, 
$ε(t)$ {{---}} ошибки. 

Подгонка модели представляет собой упражнение по подгонке кривой, поэтому она явно не учитывает структуру временной зависимости в данных. Это также позволяет проводить наблюдения с нерегулярным интервалом. 
Есть два варианта временных рядов тренда: модель насыщающего роста и кусочно-линейная модель. Модель многопериодной сезонности основана на рядах Фурье<ref>[[Определение ряда Фурье]]</ref>. Эффект известных и заказных выходных дней может быть легко включен в модель. 
Модель Prophet вставлена в байесовскую структуру и позволяет сделать полный апостериорный вывод, чтобы включить неопределенность параметров модели в неопределенность прогноза. 

===NNETAR===
 
[[Файл:NNETARElectriacalequipmntManufacturing.png |left|300px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 17.] NNETAR]]
Модель авторегрессии нейронной сети (англ. Neural NETwork AutoRegression, NNETAR) представляет собой полносвязную [https://neerc.ifmo.ru/wiki/index.php?title=Нейронные_сети,_перцептрон нейронную сеть].
Модель NNETAR принимает на вход последние элементы последовательности до момента времени $t$ и выводит прогнозируемое значение в момент времени $t + 1$. Для выполнения многоэтапных прогнозов сеть применяется итеративно.[[Файл:NNETARElectriacalequipmntManufacturingDecomposition.png |left|300px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 18.] NNETAR c декомпозицией]]

Модель можно описать уравнением
$y_t = f(y_{t-1}) + \epsilon_t$ 
где $y_{t-1} = (y_{t-1}, y_{t-2}, ...)'$ - вектор, содержащий запаздывающие значения 
f - нейронная сеть, с 4 скрытыми узлами в каждом слое 
$\epsilon_t$ - считаем, что ряд ошибок --- гомокседастичен( и возможно имеет нормальное распределение)

Мы можем моделировать будущие выборочные пути этой модели итеративно, случайным образом генерируя значение для $\epsilon_t$ либо из нормального распределения, либо путем повторной выборки из исторических значений. Так что если
$\epsilon_{T+1}*$
--- случайная выборка из распределения ошибок в момент времени $T+1$, тогда $y_{T+1}* = f(y_T) + \epsilon_{T+1}*$ --- один из возможных вариантов распределения прогнозов для $y_{T+1}$ 
Установив $y_{T+1}* = (y_{T+1}*, y_{T})'$, мы можем повторить процесс, чтобы получить $y_{T+2}* = f(y_{T+1}) + \epsilon_{T+2}$. 

Таким образом, мы можем итеративно моделировать будущий путь выборки. Повторно моделируя выборочные пути, мы накапливаем знания о распределении всех будущих значений на основе подобранной нейронной сети.

===LSTM===
 
Блок [[:Долгая_краткосрочная_память|cети долго-краткосрочной памяти]] (англ. Long short-term memory, LSTM) могут использоваться для прогнозирования временных рядов (а также других рекуррентных нейронных сетей). 
Состояние сети LSTM представлено через вектор пространства состояний. Этот метод позволяет отслеживать зависимости новых наблюдений от прошлых (даже очень далеких). 
Вообще говоря, LSTM представляют собой сложные модели, и они редко используются для прогнозирования одного временного ряда, поскольку для их оценки требуется большой объем данных. Однако они обычно используются, когда необходимы прогнозы для большого количества временных рядов (как показано [https://arxiv.org/abs/1704.04110 здесь]). 

==Оценка==
[[Файл:Evaluation.png |right|600px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 19.] MAE с перекрестной проверкой для каждой модели]]
Выполнен выбор модели с помощью процедуры перекрестной проверки, описанной ранее. Не рассчитывая его для динамических линейных моделей и моделей LSTM из-за их высокой вычислительной стоимости и низкой производительности. 
На следующем рисунке показана [[Оценка качества в задачах классификации и регрессии|sсредняя абсолютная ошибка]] (англ. Mean Absolute Error, MAE) с перекрестной проверкой для каждой модели и для каждого временного горизонта (рис. 17):

Модель NNETAR по сезонно скорректированным данным была лучшей моделью для данной задачи, поскольку она соответствовала самому низкому значению MAE, прошедшему перекрестную проверку. 
Чтобы получить объективную оценку наилучшей производительности модели, вычислим MAE на тестовом наборе (рис. 18), получив оценку, равную 5,24. На следующем рисунке можно увидеть MAE, оцененную на тестовой выборке для каждого временного горизонта. 

[[Файл:Cross-validated MAE.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 20.] MAE, тестовый набор]]
 
=== Методы увеличения производительности===

*Использование разных моделей для разных временных горизонтов,
*Объединение нескольких прогнозов (например, с учетом среднего прогноза),
*Агрегация начальных данных.
 

==Заключительные замечания==
Большинство ранее описанных моделей позволяют легко включать изменяющиеся во времени предикторы. Они могут быть извлечены из одного и того же временного ряда или могут соответствовать внешним предикторам (например, временному ряду другого индекса). В последнем случае необходимо обратить внимание на то, чтобы не использовать информацию из будущего, которая могла бы быть удовлетворена путем прогнозирования предикторов или использования версий c ошибками. 

Обратите внимание, что в данном конспекте рассматривается случай, когда у нас есть один временной ряд для прогнозирования. Когда у нас много временных рядов, может быть предпочтительнее глобальный подход, поскольку он позволяет нам оценивать более сложную и потенциально более точную модель. Подробнее о глобальном подходе [https://arxiv.org/abs/1704.04110 здесь].

==См. Также==
* [[Кластеризация]]
* [[Уменьшение размерности]]
* [[Рекомендательные системы]]
* [[Анализ социальных сетей]]
* [[Графовые нейронные сети]]
* [[Компьютерное зрение]]

== Примечания ==
<references/>

==Источники Информации==
* Филатов, А. В. Заметки профайлера / А. В. Филатов. -Москва: Издательские решения, 2019. -522.
* [http://www.machinelearning.ru/wiki/index.php?title=Временной_ряд machinelearning.ru]
*[https://ru.wikipedia.org/wiki/Временной_ряд Википедия: Временной ряд]
*[http://statsoft.ru/home/textbook/modules/sttimser.html StatSoft: Анализ временных рядов]
*[https://chaos.phys.msu.ru/loskutov/PDF/Lectures_time_series_analysis.pdf Лоскутов А.Ю. физ. фак. МГУ: Анализ Временных Рядов]
[[Категория: Машинное обучение]]
[[Категория: Анализ временных рядов]]

Анализ временных рядов

2021-01-19T23:08:12Z

Cga: /* NNETAR */

Временные ряды {{---}} это актуальный инструмент, применимый во множестве решений, от предсказания цен на акции, прогнозов погоды, планирования бизнеса, до распределения ресурсов. Несмотря на то, что прогнозирование может быть сведено к построению контролируемой [[Вариации регрессии|регрессии]], существуют особенности, связанные с временным характером наблюдений, которые необходимо учитывать, используя специальные инструменты. 

==Временной ряд==
 
{{Определение
|definition =
'''Временно́й ряд (или ряд динамики)''' {{---}} собранный в разные моменты времени статистический материал о значении каких-либо параметров (в простейшем случае одного) исследуемого процесса. Каждая единица статистического материала называется измерением или отсчётом. Во временном ряде для каждого отсчёта должно быть указано время измерения или номер измерения по порядку.
}}

Как и большинство других видов анализа, анализ временных рядов предполагает, что данные содержат систематическую составляющую (обычно включающую несколько компонент) и случайный шум (ошибку), который затрудняет обнаружение регулярных компонент. Большинство методов исследования временных рядов включает различные способы фильтрации шума, позволяющие увидеть регулярную составляющую более отчетливо. Большинство регулярных составляющих временных рядов принадлежит к двум классам: они являются либо трендом, либо сезонной составляющей. Тренд представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Сезонная составляющая {{---}} это периодически повторяющаяся компонента. Оба эти вида регулярных компонент часто присутствуют в ряде одновременно.

==Валидирование и тестирование модели временного ряда==
 
Данные упорядочены относительно неслучайных моментов времени, и, значит, в отличие от случайных выборок, могут содержать в себе дополнительную информацию, поэтому нельзя пользоваться обычными способами валидации. Чтобы избежать смещения оценки необходимо удостовериться, что обучающие наборы данных содержат только наблюдения, которые произошли до событий из валидирующиx наборов. 
[[Файл:TimeSeriesCross-validation.png |thumb|left|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 1.] Кросс-валидация временного ряда]] 

Возможным способом преодоления данной проблемы будет использование скользящего окна, как описано [https://robjhyndman.com/hyndsight/tscv/ здесь]. Эта процедура называется [[Кросс-валидация|кросс-валидацией]] временного ряда и может быть вкратце описана следующей картинкой (рис. 1), в которой синие точки обозначают тренировочный набор данных, а красные соответствующие валидационные наборы данных. 

Если необходимо предсказать следующие $n$ шагов, то можно заранее кросс-валидировать $1,2,...,n$. Таким образом можно также сравнить качество предсказаний для разных временных горизонтов. 

Определив лучшую модель, можно применить её ко всему обучающему набору и оценить его работу на следующем во времени наборе данных. Оценка работы может быть дана с использованием метода скользящего окна<ref>[https://wiki.loginom.ru/articles/windowing-method.html loginom: Метод скользящего окна]</ref>, который используем при кросс-валидации, но без переподсчёта параметра модели.

==Краткое исследование данных==
[[Файл:ManufactureOfElectricalEquipment.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 2.] Набор данных описывающий график производства электрооборудования]] 

В данной части используется несколько разных моделей для предсказания изменений в промышленном производстве, которые для примера будем оценивать численно, как количество электрооборудования, произведённого в зоне Евро (рис. 2, 3). 
[[Файл:SeasonalPlotMonthluSeasonalPattern.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 3.] Сезонные колебания]]
Набор данных описывает ежемесячное производство электрооборудования (компьютеры электрические и оптические приборы) в зоне евро (17 стран) в период с января 1996 по март 2012 года (см. график ниже). Последние два года будем использовать при тестировании. 

==Модели прогнозирования временных рядов==

Существует 10 моделей прогнозирования, у каждой имеются свои достоинства и недостатки. Ниже, используя каждую модель, предскажем 12 месяцев, соответственно, значение $t+1, t+2, …, t + 12$.
Имеет смысл использовать среднюю абсолютную ошибку для работы оценки модели. 

===Наивное предсказание===
[[Файл:NaiveElectricalEquipmentManufacturing.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 4.] Наивная]] 

Предсказания для каждого горизонта соотвествуют последнему наблюдаемому значению
$Y(t + h|t) = Y(t)$.

Такие предскания предполагают, что стохастическая<ref>[https://ru.wikipedia.org/wiki/Стохастичность Википедия: Стохастичность]</ref> модель генерирует [[Участник:Mk17.ru|случайное блуждание]]. 
[[Файл:SeasonalNaiveElectricalEquipmentManufacturing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 5.] Cезонно-наивная]] 
Расширение наивной модели сезонно-наивная модель (англ. Season Naive, SNAIVE) {{---}} сезонно-наивная модель предполагает, что временной ряд имеет сезонную компоненту, и что период сезонности $T$. 

Прогнозы SNAIVE-модели описываются формулой $\dot{Y}(t+h|t) = Y(t+h-T)$.

Получаемые прогнозы следующие $T$ шагов совпадают с предыдущими $T$ шагами.
Эти модели часто используются как ориентировочные модели. Следующий графики показывают предсказания двух моделей для 2007 года (рис. 4, 5). 

===Разделение по сезонам + любая модель===
[[Файл:STL_docompositionOnIndustrialProductionIndexData.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 6.] Методы разложения ряда]] 
Если данные показывают, что они восприимчивы к периодическим (сезонным) изменениям (ежедневно, еженедельно, ежеквартально, ежегодно), то будет полезным разложить исходный временной ряд на сумму трёх компонентов. 

$Y(t) = S(t) + T(t) + R(t)$ 
$S(t)$ {{---}} сезонный компонент. 
$T(t)$ {{---}} компонент трендового цикла. 
$R(t)$ {{---}} остаток. 
Существуют несколько способов для такого разложения, но наиболее простой называется классическим разложением и заключается в том, чтобы оценить тренд $T(t)$ через скользящее среднее, посчитать $S(t)$, как среднее без тренда $Y(t) - T(t)$ для каждого сезона. 
Посчитать остаток, как $R(t) = Y(t) - T(t)-S(t)$. 
[[Файл:SeasonallyAdjustedIndustrial.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 7.] Сезонные индексы ряда]]
Классическое разложение можно расширить несколькими способами. 
Расширение позволяет использовать данный метод при:
* непостоянной величине сезона;
* посчитать начальные и конечные значения декомпозиции;
* избежать лишнего сглаживания;

Обзор методов разложений ряда можно увидеть по [https://otexts.com/fpp2/decomposition.html ссылке]. Используется реализация из стандартной библиотеки (рис. 6). 

Одним из способов использования декомпозиции для прогнозирования будет: 
1) Разложить обучающий набор алгоритмом. 
2) Посчитать сезонное отклонение ряда $Y(t) - S(t)$, используя любую модель для прогнозирования сезонно-чувствительного временного ряда. 
3) Добавить прогнозам сезонность последнего временного периода во временном ряду (в нашем случае $S(t)$ для прошлого года). 
[[Файл:SeasonallyAdjustedTimeSeries.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 8.] Декомпозиция и наивная модель]] 
На следующем графике показаны сезонные индексы ряда с учётом сезонности (рис. 7).

Следующий график показывает расчёты для 2007 года с использованием декомпозиции и наивной модели (рис. 8) для сезонно-изменяемого временного ряда. 

===Экспоненциальное сглаживание ===
 
[[Файл:ExpSmoothing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 9.] Данные полученные для 2007 года с использованием модели экспоненциального сглаживания]]
Экспоненциальное сглаживание<ref>[https://ru.wikipedia.org/wiki/Экспоненциальное_сглаживание Википедия: Экспоненциальное сглаживание]</ref> {{---}} один из наиболее успешных классических методов предсказаний. В своей базовой форме он называется простым экспоненциальный сглаживанием и его прогнозы описываются формулами:
$Ŷ(t+h|t) = ⍺y(t) + ⍺(1-⍺)y(t-1) + ⍺(1-⍺)²y(t-2) + …$ 
где''''' $0<⍺<1$ '''''. Если $⍺ = 0$, то текущие наблюдения игнорируются, если же $⍺ = 1$, то полностью игнорируются предыдущие наблюдения. 
[[Файл:ExpSmoothing+Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 10.] Данные полученные для 2007 года, с использованием модели экспоненциального сглаживания и декомпозиции]]

Заметно, что прогнозы равны взвешенному среднему от старых наблюдений, и что соответствующие веса убывают экспоненциально по мере хода времени.

Некоторые методы для расширения алгоритма позволяют добавить тренд, его затухание и сезонность.
Экспоненциальное сглаживание состоит из 9 моделей, которые подробно описаны [https://otexts.com/fpp2/taxonomy.html здесь].

Следующие графики (рис. 9, 10) описывают прогнозы данных полученные для 2007 года, с использованием модели экспоненциального сглаживания (выбраны автоматически), которые подходили исходному и сезонно-чувствительному временному ряду. 

===ARIMA, SARIMA===
 
[[Файл:SARIMA.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11.] SARIMA]]
Также как и экспоненциальное сглаживание, интегрированная модель авторегрессии скользящего среднего (англ. autoregressive integrated moving average, ARIMA) также часто используются для прогноза временных рядов.

{{Определение
|definition =
'''Авторегрессионная модель''' {{---}} модель временных рядов, в которой значения временного ряда в данный момент линейно зависят от предыдущих значений этого же ряда.
}}
{{Определение
|definition =
'''Процесс авторегрессии''' {{---}} последовательная зависимость элементов временного ряда, выразается следующим уравнением:
$x(t) = \psi + \phi_1 * x_(t-1) + \phi_2 * x_(t-2) + \phi_3 * x_(t-3) + ... + \epsilon$ 
Где $\psi$ {{---}} свободный член (константа). 
$\phi_1, \phi_2, \phi_3, ...$ {{---}} параметры авторегрессии.
}}
{{Определение
|definition =
'''Скользящее среднее''' {{---}} общее название для семейства функций, значения которых в каждой точке определения равны некоторому среднему значению исходной функции за предыдущий период.
}}

{{Определение
|definition =
'''Процесс скользящего среднего''' {{---}} в процессе скользящего среднего каждый элемент ряда подвержен суммарному воздействию предыдущих ошибок. В общем виде это можно записать следующим образом:
$x_t = \mu + \epsilon_t - \theta_1 * \epsilon_{t-1} - \theta_2 * \epsilon_{t-2} - ...$ 
Где $\mu$ {{---}} константа. 
$\theta_1, \theta_2, \theta_3, ...$ {{---}} параметры скользящего среднего.
}}
[[Файл:SARIMA_Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 12.] SARIMA декомпозированная]]
ARIMA {{---}} комбинация этих двух подходов. Так как эти подходы требуются стационарности временного ряда, может понадобится продифференциировать/проинтегрировать ряд.
То есть рассматировать ряд разностей, а не исходный ряд.

Сезонная интегрированная модель авторегрессии скользящего среднего (англ. season autoregressive integrated moving average, SARIMA) учитывает сезонность, добавляя линейную комбинацию прошлых сезонных значений и/или прошлых ошибок прогноза.
Более подробную информацию про ARIMA, SARIMA читайте по [https://otexts.com/fpp2/arima.html ссылке].

Данные графики показывают предсказания полученные для 2007 года, с использованием модели SARIMA (рис. 11,12).

===Garch===
 
[[Файл:GARCH.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 13.] ARMA]] 

В предыдущих моделях считалось, что слагаемое ошибки в стохастическом процессе генерации временного ряда имело одинаковую дисперсию.

В GARСH-модели (англ. Generalized AutoRegressive Conditional Heteroscedasticity, GARCH) предполагается, что слагаемое ошибки следуют авторегрессионному скользящему среднему (англ. AutoRegressive Moving Average, ARMA), соответственно слагаемое меняется по ходу времени. Это особенно полезно при моделировании финансовых временных рядов, так как диапазон изменений тоже постоянно меняется (рис. 13).

Обычно ARMA используется и для учёта среднего, более подробное введение в Garsh можно найти [https://cran.r-project.org/web/packages/rugarch/vignettes/Introduction_to_the_rugarch_package.pdf здесь]. 

===Динамические линейные модели===
[[Файл:DLM+Decomposition.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 14.] DLM]] 
Динамические линейные модели представляют другой класс моделей предсказания временных рядов (рис. 14).
Идея заключается в том, что в каждый момент времени $t$ эти модели соответствуют линейной модели, но коэффициент регрессии постоянно меняется. Пример динамической линейной модели ниже: 
$y(t) = ⍺(t) + tβ(t) + w(t)$, 
$⍺(t) = ⍺(t-1) + m(t)$, 
$β(t) = β(t-1) + r(t)$, 
$w(t)$ ~ $N(0,W)$, $m(t)$ ~ $N(0,M)$, $r(t)$ ~ $N(0,R)$. 

В предыдущей модели коэффициенты $a(t)$ и $b(t)$ следуют случайному блужданию.

Динамические линейные модели могут быть построены в рамках Байесовской системы. Тем не менее и этот метод можно улучшить, подробности [https://cran.r-project.org/web/packages/dlm/vignettes/dlm.pdf здесь]. 

===TBATS===
 
[[Файл:TBATS_Electrical.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 15.] DLM]]
TBATS (англ. Trigonometric seasonality, Box-Cox transformation, ARMA errors, Trend and Seasonal components) {{---}} это модели, которые основаны на экспоненциальном сглаживании (рис. 15). Главной особенностью TBATS является возможность взаимодействия с несколькими сезонностями. Моделируя каждую функцию сезонности отдельным тригонометрическим отображением построенным на [[L 2-теория рядов Фурье|рядах Фурье]]. Классическим примером комплексной сезонности будет отображение ежедневных объемов продаж, которые имеет, как еженедельные колебания, так и ежегодные. 

Больше информации можно прочиать [https://robjhyndman.com/papers/ComplexSeasonality.pdf тут]. 

===Prophet===
 
Ещё одна модель, способная взаимодействовать с несколькими сезонностями (рис. 16).
Это ПО с открытым исходным кодом от Фейсбука ([https://facebook.github.io/prophet/ ссылка]). 
[[Файл:Prophet.png |right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 16.] Prophet]]

Prophet считает, что временной ряд может быть разложен следующим образом: 
$y(t) = g(t) + s(t) + h(t) + ε(t)$, 
$g(t)$ {{---}} тренд, 
$s(t)$ {{---}} сезонность, 
$h(t)$ {{---}} каникулы, т.е аномальные данные, 
$ε(t)$ {{---}} ошибки. 

Подгонка модели представляет собой упражнение по подгонке кривой, поэтому она явно не учитывает структуру временной зависимости в данных. Это также позволяет проводить наблюдения с нерегулярным интервалом. 
Есть два варианта временных рядов тренда: модель насыщающего роста и кусочно-линейная модель. Модель многопериодной сезонности основана на рядах Фурье<ref>[[Определение ряда Фурье]]</ref>. Эффект известных и заказных выходных дней может быть легко включен в модель. 
Модель Prophet вставлена в байесовскую структуру и позволяет сделать полный апостериорный вывод, чтобы включить неопределенность параметров модели в неопределенность прогноза. 

===NNETAR===
 
[[Файл:NNETARElectriacalequipmntManufacturing.png |left|300px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 17.] NNETAR]]
Модель авторегрессии нейронной сети (англ. Neural NETwork AutoRegression, NNETAR) представляет собой полносвязную [https://neerc.ifmo.ru/wiki/index.php?title=Нейронные_сети,_перцептрон нейронную сеть].
Модель NNETAR принимает на вход последние элементы последовательности до момента времени $t$ и выводит прогнозируемое значение в момент времени $t + 1$. Для выполнения многоэтапных прогнозов сеть применяется итеративно.[[Файл:NNETARElectriacalequipmntManufacturingDecomposition.png |left|300px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 18.] NNETAR c декомпозицией]]

Модель можно описать уравнением
$y_t = f(y_{t-1}) + \epsilon_t$ 
где $y_{t-1} = (y_{t-1}, y_{t-2}, ...)'$ - вектор, содержащий запаздывающие значения 
f - нейронная сеть, с 4 скрытыми узлами в каждом слое 
$\epsilon_t$ - считаем, что ряд ошибок --- гомокседастичен( и возможно имеет нормальное распределение)

Мы можем моделировать будущие выборочные пути этой модели итеративно, случайным образом генерируя значение для $\epsilon_t$ либо из нормального распределения, либо путем повторной выборки из исторических значений. Так что если
$\epsilon_{T+1}*$
--- случайная выборка из распределения ошибок в момент времени $T+1$, тогда $y_{T+1}* = f(y_T) + \epsilon_{T+1}*$ --- один из возможных вариантов распределения прогнозов для $y_{T+1}$ 
Установив $y_{T+1}* = (y_{T+1}*, y_{T})'$, мы можем повторить процесс, чтобы получить $y_{T+2}* = f(y_{T+1}) + \epsilon_{T+2}$. 

Таким образом, мы можем итеративно моделировать будущий путь выборки. Повторно моделируя выборочные пути, мы накапливаем знания о распределении всех будущих значений на основе подобранной нейронной сети.

===LSTM===
 
Блок [[:Долгая_краткосрочная_память|cети долго-краткосрочной памяти]] (англ. Long short-term memory, LSTM) могут использоваться для прогнозирования временных рядов (а также других рекуррентных нейронных сетей). 
Состояние сети LSTM представлено через вектор пространства состояний. Этот метод позволяет отслеживать зависимости новых наблюдений от прошлых (даже очень далеких). 
Вообще говоря, LSTM представляют собой сложные модели, и они редко используются для прогнозирования одного временного ряда, поскольку для их оценки требуется большой объем данных. Однако они обычно используются, когда необходимы прогнозы для большого количества временных рядов (как показано [https://arxiv.org/abs/1704.04110 здесь]). 

==Оценка==
[[Файл:Evaluation.png |right|600px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 19.] MAE с перекрестной проверкой для каждой модели]]
Выполнен выбор модели с помощью процедуры перекрестной проверки, описанной ранее. Не рассчитывая его для динамических линейных моделей и моделей LSTM из-за их высокой вычислительной стоимости и низкой производительности. 
На следующем рисунке показана [[Оценка качества в задачах классификации и регрессии|sсредняя абсолютная ошибка]] (англ. Mean Absolute Error, MAE) с перекрестной проверкой для каждой модели и для каждого временного горизонта (рис. 17):

Модель NNETAR по сезонно скорректированным данным была лучшей моделью для данной задачи, поскольку она соответствовала самому низкому значению MAE, прошедшему перекрестную проверку. 
Чтобы получить объективную оценку наилучшей производительности модели, вычислим MAE на тестовом наборе (рис. 18), получив оценку, равную 5,24. На следующем рисунке можно увидеть MAE, оцененную на тестовой выборке для каждого временного горизонта. 

[[Файл:Cross-validated MAE.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 20.] MAE, тестовый набор]]
 
=== Методы увеличения производительности===

*Использование разных моделей для разных временных горизонтов,
*Объединение нескольких прогнозов (например, с учетом среднего прогноза),
*Агрегация начальных данных.
 

==Заключительные замечания==
Большинство ранее описанных моделей позволяют легко включать изменяющиеся во времени предикторы. Они могут быть извлечены из одного и того же временного ряда или могут соответствовать внешним предикторам (например, временному ряду другого индекса). В последнем случае необходимо обратить внимание на то, чтобы не использовать информацию из будущего, которая могла бы быть удовлетворена путем прогнозирования предикторов или использования версий c ошибками. 

Обратите внимание, что в данном конспекте рассматривается случай, когда у нас есть один временной ряд для прогнозирования. Когда у нас много временных рядов, может быть предпочтительнее глобальный подход, поскольку он позволяет нам оценивать более сложную и потенциально более точную модель. Подробнее о глобальном подходе [https://arxiv.org/abs/1704.04110 здесь].

==См. Также==
* [[Кластеризация]]
* [[Уменьшение размерности]]
* [[Рекомендательные системы]]
* [[Анализ социальных сетей]]
* [[Графовые нейронные сети]]
* [[Компьютерное зрение]]

== Примечания ==
<references/>

==Источники Информации==
* Филатов, А. В. Заметки профайлера / А. В. Филатов. -Москва: Издательские решения, 2019. -522.
* [http://www.machinelearning.ru/wiki/index.php?title=Временной_ряд machinelearning.ru]
*[https://ru.wikipedia.org/wiki/Временной_ряд Википедия: Временной ряд]
*[http://statsoft.ru/home/textbook/modules/sttimser.html StatSoft: Анализ временных рядов]
*[https://chaos.phys.msu.ru/loskutov/PDF/Lectures_time_series_analysis.pdf Лоскутов А.Ю. физ. фак. МГУ: Анализ Временных Рядов]
[[Категория: Машинное обучение]]
[[Категория: Анализ временных рядов]]

Анализ временных рядов

2021-01-15T03:47:43Z

Cga: /* Источники Информации */

Временные ряды {{---}} это актуальный инструмент применимый во множестве решений, от предсказания цен на акции, прогнозов погоды, планирования бизнеса, до распределения ресурсов. Несмотря на то, что прогнозирование может быть сведено к построению контролируемой [[Вариации регрессии|регрессии]], существуют особенноссти, связанные с временным характером наблюдений, которые необходимо учитывать, используя специальные инструменты. 

==Временной ряд==
{{Определение
|definition =
'''Временно́й ряд (или ряд динамики)''' {{---}} собранный в разные моменты времени статистический материал о значении каких-либо параметров (в простейшем случае одного) исследуемого процесса. Каждая единица статистического материала называется измерением или отсчётом. Во временном ряде для каждого отсчёта должно быть указано время измерения или номер измерения по порядку.
}}

Как и большинство других видов анализа, анализ временных рядов предполагает, что данные содержат систематическую составляющую (обычно включающую несколько компонент) и случайный шум (ошибку), который затрудняет обнаружение регулярных компонент. Большинство методов исследования временных рядов включает различные способы фильтрации шума, позволяющие увидеть регулярную составляющую более отчетливо. Большинство регулярных составляющих временных рядов принадлежит к двум классам: они являются либо трендом, либо сезонной составляющей. Тренд представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Сезонная составляющая - это периодически повторяющаяся компонента. Оба эти вида регулярных компонент часто присутствуют в ряде одновременно.

==Валидирование и тестирование модели временного ряда==
Данные упорядочены относительно неслучайных моментов времени, и, значит, в отличие от случайных выборок, могут содержать в себе дополнительную информацию, поэтому нельзя пользоваться обычными способами валидации. Чтобы избежать смещения оценки необходимо удостовериться, что обучающие наборы данных содержат только наблюдения, которые произошли до событий из валидирующиx наборов. 
[[Файл:TimeSeriesCross-validation.png |thumb|left|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 1. кросс-валидация временного ряда]]] 

Возможным способом преодоления данной проблемы будет использование скользящего окна, как описано [https://robjhyndman.com/hyndsight/tscv/ здесь]. Эта процедура называется [[Кросс-валидация|кросс-валидацией]] временного ряда и может быть вкратце описана следующей картинкой (рис. 1), в которой синие точки обозначают тренировочный набор данных, а красные соответствующие валидационные наборы данных. 

Если необходимо предсказать следующие $n$ шагов, то можно заранее кросс-валидировать $1,2,...,n$. Таким образом можно также сравнить качество предсказаний для разных временных горизонтов. 

Определив лучшую модель, можно применить её ко всему обучающему набору и оценить его работу на следующем во времени наборе данных. Оценка работы может быть дана с использованием метода скользящего окна<ref>[https://wiki.loginom.ru/articles/windowing-method.html loginom: Метод скользящего окна]</ref>, который используем при кросс-валидации, но без переподсчёта параметра модели.

==Краткое исследование данных==
[[Файл:ManufactureOfElectricalEquipment.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 2. Набор данных описывающий график производства электрооборудования]]] 

В данной части используется несколько разных моделей для предсказания изменений в промышленном производстве, которые для примера будем оценивать численно, как количество электрооборудования, произведённого в зоне Евро (рис. 2, 3). 
[[Файл:SeasonalPlotMonthluSeasonalPattern.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 3. Сезонные колебания]]]
Набор данных описывает ежемесячное производство электрооборудования (компьютеры электрические и оптические приборы) в зоне евро (17 стран) в период с января 1996 по март 2012 года (см. график ниже). Последние два года будем использовать при тестировании. 

==Модели прогнозирования временных рядов==

Существует 10 моделей прогнозирования, у каждой имеются свои достоинства и недостатки. Ниже, используя каждую модель, предскажем 12 месяцев, соответственно, значение $t+1, t+2, …, t + 12$.
Имеет смысл использовать среднюю абсолютную ошибку для работы оценки модели. 

===Наивное предсказание===
[[Файл:NaiveElectricalEquipmentManufacturing.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 4. Наивная]]] 

Предсказания для каждого горизонта соотвествуют последнему наблюдаемому значению
$Y(t + h|t) = Y(t)$.

Такие предскания предполагают, что стохастическая<ref>[https://ru.wikipedia.org/wiki/Стохастичность Википедия: Стохастичность]</ref> модель генерирует [[Участник:Mk17.ru|случайное блуждание]]. 
[[Файл:SeasonalNaiveElectricalEquipmentManufacturing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 5. Cезонно-наивная]]] 
Расширение наивной модели сезонно-наивная модель (англ. Season Naive, SNAIVE) {{---}} сезонно-наивная модель предполагает, что временной ряд имеет сезонную компоненту, и что период сезонности T. 

Прогнозы SNAIVE {{---}} модели описываются формулой $\dot{Y}(t+h|t) = Y(t+h-T)$.

Получаемые прогнозы следующие T шагов совпадают с предыдущими T шагами.
Эти модели часто используются как ориентировочные модели. Следующий графики показывают предсказания двух моделей для 2007 года (рис. 4, 5). 

===Разделение по сезонам + любая модель===
[[Файл:STL_docompositionOnIndustrialProductionIndexData.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 6. Методы разложения ряда]]] 
Если данные показывают, что они восприимчивы к периодическим (сезонным) изменениям (ежедневно, еженедельно, ежеквартально, ежегодно), то будет полезным разложить исходный временной ряд на сумму трёх компонентов. 

$Y(t) = S(t) + T(t) + R(t)$ 
$S(t)$ {{---}} сезонный компонент. 
$T(t)$ {{---}} компонент трендового цикла. 
$R(t)$ {{---}} остаток. 
Существуют несколько способов для такого разложения, но наиболее простой называется классическим разложением и заключается в том, чтобы оценить тренд $T(t)$ через скользящее среднее, посчитать $S(t)$, как среднее без тренда $Y(t) - T(t)$ для каждого сезона 
Посчитать остаток, как $R(t) = Y(t) - T(t)-S(t)$. 
[[Файл:SeasonallyAdjustedIndustrial.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 7. Сезонные индексы ряда]]]
Классическое разложение можно расширить несколькими способами. 
Расширение позволяет использовать данный метод при:
* непостоянной величине сезона
* посчитать начальные и конечные значения декомпозиции
* избежать лишнего сглаживания

Обзор методов разложений ряда можно увидеть по [https://otexts.com/fpp2/decomposition.html ссылке]. Используется реализация из стандартной библиотеки (рис. 6). 

Одним из способов использования декомпозиции для прогнозирования будет: 
1) Разложить обучающий набор алгоритмом из STL. 
2) Посчитать сезонное отклонение ряда $Y(t) - S(t)$, используя любую модель для прогнозирования сезонно-чувствительного временного ряда. 
3) Добавить прогнозам сезонность последнего временного периода во временном ряду (в нашем случае $S(t)$ для прошлого года). 
[[Файл:SeasonallyAdjustedTimeSeries.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 8. Декомпозиция и наивная модель]]] 
На следующем графике показаны сезонные индексы ряда с учётом сезонности (рис. 7): 

Следующий график показывает предсказания полученные для 2007 года с использованием STL декомпозиции и наивной модели(рис. 8) для сезонно-изменяемого временного ряда: 

Декомпозиция была исплементирована с помощью встроенной в стандартную библиотеку функции.

===Экспоненциальное сглаживание ===
 
[[Файл:ExpSmoothing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 9. данные полученные для 2007 года с использованием модели экспоненциального сглаживания]]]
Экспоненциальное сглаживание<ref>[https://ru.wikipedia.org/wiki/Экспоненциальное_сглаживание Википедия: Экспоненциальное сглаживание]</ref> {{---}} один из наиболее успешных классических методов предсказаний. В своей базовой форме он называется простым экспоненциальный сглаживанием и его прогнозы описываются формулами:
$Ŷ(t+h|t) = ⍺y(t) + ⍺(1-⍺)y(t-1) + ⍺(1-⍺)²y(t-2) + …$ 
'''''где $0<⍺<1.$ ''''' Если ⍺ = 0, то текущие наблюдения игнорируются, если же ⍺ = 1, то полностью игнорируются предыдущие наблюдения 
[[Файл:ExpSmoothing+Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 10. данные полученные для 2007 года с использованием модели экспоненциального сглаживания и декомпозиции]]]

Заметно, что прогнозы равны взвешенному среднему от старых наблюдений, и что соответствующие веса убывают экспоненциально по мере хода времени.

Некоторые методы для расширения алгоритма позволяют добавить тренд, его затухание и сезонность.
Экспоненциальное сглаживание состоит из 9 моделей, которые подробно описаны здесь([https://otexts.com/fpp2/taxonomy.html ссылка]).

Следующие графики (рис. 9, 10) описывают прогнозы данных полученные для 2007 года с использованием модели экспоненциального сглаживания (выбраны автоматически), которые подходили исходному и сезонно-чувствительному временному ряду. 

===ARIMA, SARIMA===
 
[[Файл:SARIMA.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11. SARIMA]]]
Также как и экспоненциальное сглаживание, интегрированная модель авторегрессии скользящего среднего (англ. autoregressive integrated moving average, ARIMA) также часто используются для прогноза временных рядов.

{{Определение
|definition =
'''Авторегрессивность''' {{---}} линейная комбинация старых значений.
}}
{{Определение
|definition =
'''Процесс авторегрессии''' {{---}} последовательная зависимость элементов временного ряда, выразается следующим уравнением:
$x(t) = \psi + \phi_1 * x_(t-1) + \phi_2 * x_(t-2) + \phi_3 * x_(t-3) + ... + \epsilon$ 
Где $\psi$ - свободный член(константа) 
$\phi_1, \phi_2, \phi_3, ...$ - параметры авторегрессии
}}
{{Определение
|definition =
'''Скользящее среднее''' {{---}} общее название для семейства функций, значения которых в каждой точке определения равны некоторому среднему значению исходной функции за предыдущий период.
}}

{{Определение
|definition =
'''Процесс скользящего среднего''' {{---}} в процессе скользящего среднего каждый элемент ряда подвержен суммарному воздействию предыдущих ошибок. В общем виде это можно записать следующим образом:
$x_t = \mu + \epsilon_t - \theta_1 * \epsilon_{t-1} - \theta_2 * \epsilon_{t-2} - ...$ 
Где $\mu$ - константа 
$\theta_1, \theta_2, \theta_3, ...$ - параметры скользящего среднего
}}
[[Файл:SARIMA_Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 12. SARIMA декомпозированная]]]
ARIMA {{---}} комбинация этих двух подходов. Так как эти подходы требуются стационарности временного ряда, может понадобится продифференциировать/проинтегрировать ряд.
То есть рассматировать ряд разностей, а не исходный ряд.

Сезонная интегрированная модель авторегрессии скользящего среднего (англ. season autoregressive integrated moving average, SARIMA) учитывает сезонность, добавляя линейную комбинацию прошлых сезонных значений и/или прошлых ошибок прогноза.
Для полного ввода в ARIMA, SARIMA читайте по [https://otexts.com/fpp2/arima.html ссылке].

Данные графики показывают предсказания полученные для 2007 года с использованием модели SARIMA (рис. 11,12).

===Garch===
 
[[Файл:GARCH.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 13. ARMA]]] 

В предыдущих моделях считалось, что слагаемое ошибки в стохастическом процессе генерации временного ряда имело одинаковую дисперсию.

В GARСH-модели (рис. 13) предполагается, что слагаемое ошибки следуют авторегрессионному скользящему среднему (англ. AutoRegressive Moving Average, ARMA), соответственно слагаемое меняется по ходу времени. Это особенно полезно при моделировании финансовых временных рядов, так как диапазон изменений тоже постоянно меняется.

Обычно ARMA используется и для учёта среднего, более подробное введение в Garsh можно найти [https://cran.r-project.org/web/packages/rugarch/vignettes/Introduction_to_the_rugarch_package.pdf здесь] 

===Динамические линейные модели===
[[Файл:DLM+Decomposition.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 14. DLM]]] 
Динамические линейные модели представляют другой класс моделей предсказания временных рядов(рис. 14).
Идея заключается в том, что в каждый момент времени $t$ эти модели соответствуют линейной модели, но коэффициент регрессии постоянно меняется. Пример динамической линейной модели ниже: 
$y(t) = ⍺(t) + tβ(t) + w(t)$ 
$⍺(t) = ⍺(t-1) + m(t)$ 
$β(t) = β(t-1) + r(t)$ 
$w(t)~N(0,W) , m(t)~N(0,M) , r(t)~N(0,R)$ 

В предыдущей модели коэффициенты $a(t)$ и $b(t)$ следуют случайному блужданию.

Динамические линейные модели могут быть построены в рамках Байесовской системы. Тем не менее и этот метод можно улучшить, подробности [https://cran.r-project.org/web/packages/dlm/vignettes/dlm.pdf здесь]. 

===TBATS===
 
[[Файл:TBATS_Electrical.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 15. DLM]]]
TBATS {{---}} это модели, которые основаны на экспоненциальном сглаживании(рис. 15). Главной особенностью TBATS является возможность взаимодействия с несколькими сезонностями. Моделируя каждую функцию сезонности отдельным тригонометрическим отображением построенным на рядах Фурье. Классическим примером комплексной сезонности будет отображение ежедневных объемов продаж, которые имеет, как еженедельные колебания, так и ежегодные. 

Больше информации можно прочиать [https://robjhyndman.com/papers/ComplexSeasonality.pdf тут]. 

===Prophet===
 
Ещё одна модель, способная взаимодействовать с несколькими сезонностями.
Это ПО с открытым исходным кодом от Фейсбука (рис. 16). 
[[Файл:Prophet.png |right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 16. Prophet]]]

Prophet считает, что временной ряд может быть расложен следующим образом: 
$y(t) = g(t) + s(t) + h(t) + ε(t)$ 
$g(t)$ {{---}} тренд. 
$s(t)$ {{---}} сезонность. 
$h(t)$ {{---}} каникулы. 
$ε(t)$ {{---}} ошибки. 

Подгонка модели представляет собой упражнение по подгонке кривой, поэтому она явно не учитывает структуру временной зависимости в данных. Это также позволяет проводить наблюдения с нерегулярным интервалом. 
Есть два варианта временных рядов тренда: модель насыщающего роста и кусочно-линейная модель. Модель многопериодной сезонности основана на рядах Фурье<ref>[[Определение ряда Фурье]]</ref>. Эффект известных и заказных выходных дней может быть легко включен в модель. 
Модель Prophet вставлена в байесовскую структуру и позволяет сделать полный апостериорный вывод, чтобы включить неопределенность параметров модели в неопределенность прогноза. 

===NNETAR===
 
Модель авторегрессии нейронной сети (англ. Neural NETwork AutoRegression, NNETAR) представляет собой полностью связанную [https://neerc.ifmo.ru/wiki/index.php?title=Нейронные_сети,_перцептрон нейронную сеть].

Модель NNETAR принимает на вход последние элементы последовательности до момента времени $t$ и выводит прогнозируемое значение в момент времени $t + 1$. Для выполнения многоэтапных прогнозов сеть применяется итеративно.

===LSTM===
 
Модели [[:Долгая_краткосрочная_память|cети долго-краткосрочной памяти]] (англ. Long short-term memory, LSTM) могут использоваться для прогнозирования временных рядов (а также других рекуррентных нейронных сетей). 
Состояние сети LSTM представлено через вектор пространства состояний. Этот метод позволяет отслеживать зависимости новых наблюдений от прошлых (даже очень далеких). 
Вообще говоря, LSTM представляют собой сложные модели, и они редко используются для прогнозирования одного временного ряда, поскольку для их оценки требуется большой объем данных. Однако они обычно используются, когда необходимы прогнозы для большого количества временных рядов ([https://arxiv.org/abs/1704.04110 как показано здесь]).

==Оценка==
[[Файл:Evaluation.png |right|600px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 17. MAE с перекрестной проверкой для каждой модели]]]
Выполнен выбор модели с помощью процедуры перекрестной проверки, описанной ранее. Не рассчитывая его для динамических линейных моделей и моделей LSTM из-за их высокой вычислительной стоимости и низкой производительности. 
На следующем рисунке показана [[средняя абсолютная ошибка]] (англ. Mean Absolute Error, MAE) с перекрестной проверкой для каждой модели и для каждого временного горизонта (рис. 17):

Модель NNETAR по сезонно скорректированным данным была лучшей моделью для данной задачи, поскольку она соответствовала самому низкому значению MAE, прошедшему перекрестную проверку. 
Чтобы получить объективную оценку наилучшей производительности модели, вычислим MAE на тестовом наборе(рис. 18), получив оценку, равную 5,24. На следующем рисунке можно увидеть MAE, оцененную на тестовой выборке для каждого временного горизонта. 

[[Файл:Cross-validated MAE.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 18. MAE, тестовый набор]]]
 
===Как еще больше повысить производительность===
Другие методы повышения производительности моделей:
*Использование разных моделей для разных временных горизонтов
*Объединение нескольких прогнозов (например, с учетом среднего прогноза)
*'''Агрегация начальных данных'''
 
Последний метод можно резюмировать следующим образом:
*Разложите исходный временной ряд (например, используя STL)
*Создайте набор похожих временных рядов путем случайного перемешивания фрагментов оставшейся компоненты.
*Подбирайте модель для каждого временного ряда
*Средние прогнозы каждой модели

==Заключительные замечания==
Большинство ранее описанных моделей позволяют легко включать изменяющиеся во времени предикторы. Они могут быть извлечены из одного и того же временного ряда или могут соответствовать внешним предикторам (например, временному ряду другого индекса). В последнем случае мы должны обратить внимание на то, чтобы не использовать информацию из будущего, которая могла бы быть удовлетворена путем прогнозирования предикторов или использования версий c ошибками. 

Обратите внимание, что в данном конспекте рассматривается случай, когда у нас есть один временной ряд для прогнозирования. Когда у нас много временных рядов, может быть предпочтительнее глобальный подход, поскольку он позволяет нам оценивать более сложную и потенциально более точную модель. Чтобы ознакомиться с глобальным подходом, щелкните [https://arxiv.org/abs/1704.04110 здесь].

==См. Также==
* [[Кластеризация]]
* [[Уменьшение размерности]]
* [[Рекомендательные системы]]
* [[Анализ социальных сетей]]
* [[Графовые нейронные сети]]
* [[Компьютерное зрение]]

== Примечания ==
<references/>

==Источники Информации==
* Филатов, А. В. Заметки профайлера / А. В. Филатов. -Москва: Издательские решения, 2019. -522.
* [http://www.machinelearning.ru/wiki/index.php?title=Временной_ряд machinelearning.ru]
*[https://ru.wikipedia.org/wiki/Временной_ряд Википедия: Временной ряд]
*[http://statsoft.ru/home/textbook/modules/sttimser.html StatSoft: Анализ временных рядов]
*[https://chaos.phys.msu.ru/loskutov/PDF/Lectures_time_series_analysis.pdf Лоскутов А.Ю. физ. фак. МГУ: Анализ Временных Рядов]
[[Категория: Машинное обучение]]
[[Категория: Анализ временных рядов]]

Анализ временных рядов

2021-01-15T03:35:37Z

Cga: /* Экспоненциальное сглаживание */

Временные ряды {{---}} это актуальный инструмент применимый во множестве решений, от предсказания цен на акции, прогнозов погоды, планирования бизнеса, до распределения ресурсов. Несмотря на то, что прогнозирование может быть сведено к построению контролируемой [[Вариации регрессии|регрессии]], существуют особенноссти, связанные с временным характером наблюдений, которые необходимо учитывать, используя специальные инструменты. 

==Временной ряд==
{{Определение
|definition =
'''Временно́й ряд (или ряд динамики)''' {{---}} собранный в разные моменты времени статистический материал о значении каких-либо параметров (в простейшем случае одного) исследуемого процесса. Каждая единица статистического материала называется измерением или отсчётом. Во временном ряде для каждого отсчёта должно быть указано время измерения или номер измерения по порядку.
}}

Как и большинство других видов анализа, анализ временных рядов предполагает, что данные содержат систематическую составляющую (обычно включающую несколько компонент) и случайный шум (ошибку), который затрудняет обнаружение регулярных компонент. Большинство методов исследования временных рядов включает различные способы фильтрации шума, позволяющие увидеть регулярную составляющую более отчетливо. Большинство регулярных составляющих временных рядов принадлежит к двум классам: они являются либо трендом, либо сезонной составляющей. Тренд представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Сезонная составляющая - это периодически повторяющаяся компонента. Оба эти вида регулярных компонент часто присутствуют в ряде одновременно.

==Валидирование и тестирование модели временного ряда==
Данные упорядочены относительно неслучайных моментов времени, и, значит, в отличие от случайных выборок, могут содержать в себе дополнительную информацию, поэтому нельзя пользоваться обычными способами валидации. Чтобы избежать смещения оценки необходимо удостовериться, что обучающие наборы данных содержат только наблюдения, которые произошли до событий из валидирующиx наборов. 
[[Файл:TimeSeriesCross-validation.png |thumb|left|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 1. кросс-валидация временного ряда]]] 

Возможным способом преодоления данной проблемы будет использование скользящего окна, как описано [https://robjhyndman.com/hyndsight/tscv/ здесь]. Эта процедура называется [[Кросс-валидация|кросс-валидацией]] временного ряда и может быть вкратце описана следующей картинкой (рис. 1), в которой синие точки обозначают тренировочный набор данных, а красные соответствующие валидационные наборы данных. 

Если необходимо предсказать следующие $n$ шагов, то можно заранее кросс-валидировать $1,2,...,n$. Таким образом можно также сравнить качество предсказаний для разных временных горизонтов. 

Определив лучшую модель, можно применить её ко всему обучающему набору и оценить его работу на следующем во времени наборе данных. Оценка работы может быть дана с использованием метода скользящего окна<ref>[https://wiki.loginom.ru/articles/windowing-method.html loginom: Метод скользящего окна]</ref>, который используем при кросс-валидации, но без переподсчёта параметра модели.

==Краткое исследование данных==
[[Файл:ManufactureOfElectricalEquipment.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 2. Набор данных описывающий график производства электрооборудования]]] 

В данной части используется несколько разных моделей для предсказания изменений в промышленном производстве, которые для примера будем оценивать численно, как количество электрооборудования, произведённого в зоне Евро (рис. 2, 3). 
[[Файл:SeasonalPlotMonthluSeasonalPattern.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 3. Сезонные колебания]]]
Набор данных описывает ежемесячное производство электрооборудования (компьютеры электрические и оптические приборы) в зоне евро (17 стран) в период с января 1996 по март 2012 года (см. график ниже). Последние два года будем использовать при тестировании. 

==Модели прогнозирования временных рядов==

Существует 10 моделей прогнозирования, у каждой имеются свои достоинства и недостатки. Ниже, используя каждую модель, предскажем 12 месяцев, соответственно, значение $t+1, t+2, …, t + 12$.
Имеет смысл использовать среднюю абсолютную ошибку для работы оценки модели. 

===Наивное предсказание===
[[Файл:NaiveElectricalEquipmentManufacturing.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 4. Наивная]]] 

Предсказания для каждого горизонта соотвествуют последнему наблюдаемому значению
$Y(t + h|t) = Y(t)$.

Такие предскания предполагают, что стохастическая<ref>[https://ru.wikipedia.org/wiki/Стохастичность Википедия: Стохастичность]</ref> модель генерирует [[Участник:Mk17.ru|случайное блуждание]]. 
[[Файл:SeasonalNaiveElectricalEquipmentManufacturing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 5. Cезонно-наивная]]] 
Расширение наивной модели сезонно-наивная модель (англ. Season Naive, SNAIVE) {{---}} сезонно-наивная модель предполагает, что временной ряд имеет сезонную компоненту, и что период сезонности T. 

Прогнозы SNAIVE {{---}} модели описываются формулой $\dot{Y}(t+h|t) = Y(t+h-T)$.

Получаемые прогнозы следующие T шагов совпадают с предыдущими T шагами.
Эти модели часто используются как ориентировочные модели. Следующий графики показывают предсказания двух моделей для 2007 года (рис. 4, 5). 

===Разделение по сезонам + любая модель===
[[Файл:STL_docompositionOnIndustrialProductionIndexData.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 6. Методы разложения ряда]]] 
Если данные показывают, что они восприимчивы к периодическим (сезонным) изменениям (ежедневно, еженедельно, ежеквартально, ежегодно), то будет полезным разложить исходный временной ряд на сумму трёх компонентов. 

$Y(t) = S(t) + T(t) + R(t)$ 
$S(t)$ {{---}} сезонный компонент. 
$T(t)$ {{---}} компонент трендового цикла. 
$R(t)$ {{---}} остаток. 
Существуют несколько способов для такого разложения, но наиболее простой называется классическим разложением и заключается в том, чтобы оценить тренд $T(t)$ через скользящее среднее, посчитать $S(t)$, как среднее без тренда $Y(t) - T(t)$ для каждого сезона 
Посчитать остаток, как $R(t) = Y(t) - T(t)-S(t)$. 
[[Файл:SeasonallyAdjustedIndustrial.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 7. Сезонные индексы ряда]]]
Классическое разложение можно расширить несколькими способами. 
Расширение позволяет использовать данный метод при:
* непостоянной величине сезона
* посчитать начальные и конечные значения декомпозиции
* избежать лишнего сглаживания

Обзор методов разложений ряда можно увидеть по [https://otexts.com/fpp2/decomposition.html ссылке]. Используется реализация из стандартной библиотеки (рис. 6). 

Одним из способов использования декомпозиции для прогнозирования будет: 
1) Разложить обучающий набор алгоритмом из STL. 
2) Посчитать сезонное отклонение ряда $Y(t) - S(t)$, используя любую модель для прогнозирования сезонно-чувствительного временного ряда. 
3) Добавить прогнозам сезонность последнего временного периода во временном ряду (в нашем случае $S(t)$ для прошлого года). 
[[Файл:SeasonallyAdjustedTimeSeries.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 8. Декомпозиция и наивная модель]]] 
На следующем графике показаны сезонные индексы ряда с учётом сезонности (рис. 7): 

Следующий график показывает предсказания полученные для 2007 года с использованием STL декомпозиции и наивной модели(рис. 8) для сезонно-изменяемого временного ряда: 

Декомпозиция была исплементирована с помощью встроенной в стандартную библиотеку функции.

===Экспоненциальное сглаживание ===
 
[[Файл:ExpSmoothing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 9. данные полученные для 2007 года с использованием модели экспоненциального сглаживания]]]
Экспоненциальное сглаживание<ref>[https://ru.wikipedia.org/wiki/Экспоненциальное_сглаживание Википедия: Экспоненциальное сглаживание]</ref> {{---}} один из наиболее успешных классических методов предсказаний. В своей базовой форме он называется простым экспоненциальный сглаживанием и его прогнозы описываются формулами:
$Ŷ(t+h|t) = ⍺y(t) + ⍺(1-⍺)y(t-1) + ⍺(1-⍺)²y(t-2) + …$ 
'''''где $0<⍺<1.$ ''''' Если ⍺ = 0, то текущие наблюдения игнорируются, если же ⍺ = 1, то полностью игнорируются предыдущие наблюдения 
[[Файл:ExpSmoothing+Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 10. данные полученные для 2007 года с использованием модели экспоненциального сглаживания и декомпозиции]]]

Заметно, что прогнозы равны взвешенному среднему от старых наблюдений, и что соответствующие веса убывают экспоненциально по мере хода времени.

Некоторые методы для расширения алгоритма позволяют добавить тренд, его затухание и сезонность.
Экспоненциальное сглаживание состоит из 9 моделей, которые подробно описаны здесь([https://otexts.com/fpp2/taxonomy.html ссылка]).

Следующие графики (рис. 9, 10) описывают прогнозы данных полученные для 2007 года с использованием модели экспоненциального сглаживания (выбраны автоматически), которые подходили исходному и сезонно-чувствительному временному ряду. 

===ARIMA, SARIMA===
 
[[Файл:SARIMA.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11. SARIMA]]]
Также как и экспоненциальное сглаживание, интегрированная модель авторегрессии скользящего среднего (англ. autoregressive integrated moving average, ARIMA) также часто используются для прогноза временных рядов.

{{Определение
|definition =
'''Авторегрессивность''' {{---}} линейная комбинация старых значений.
}}
{{Определение
|definition =
'''Процесс авторегрессии''' {{---}} последовательная зависимость элементов временного ряда, выразается следующим уравнением:
$x(t) = \psi + \phi_1 * x_(t-1) + \phi_2 * x_(t-2) + \phi_3 * x_(t-3) + ... + \epsilon$ 
Где $\psi$ - свободный член(константа) 
$\phi_1, \phi_2, \phi_3, ...$ - параметры авторегрессии
}}
{{Определение
|definition =
'''Скользящее среднее''' {{---}} общее название для семейства функций, значения которых в каждой точке определения равны некоторому среднему значению исходной функции за предыдущий период.
}}

{{Определение
|definition =
'''Процесс скользящего среднего''' {{---}} в процессе скользящего среднего каждый элемент ряда подвержен суммарному воздействию предыдущих ошибок. В общем виде это можно записать следующим образом:
$x_t = \mu + \epsilon_t - \theta_1 * \epsilon_{t-1} - \theta_2 * \epsilon_{t-2} - ...$ 
Где $\mu$ - константа 
$\theta_1, \theta_2, \theta_3, ...$ - параметры скользящего среднего
}}
[[Файл:SARIMA_Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 12. SARIMA декомпозированная]]]
ARIMA {{---}} комбинация этих двух подходов. Так как эти подходы требуются стационарности временного ряда, может понадобится продифференциировать/проинтегрировать ряд.
То есть рассматировать ряд разностей, а не исходный ряд.

Сезонная интегрированная модель авторегрессии скользящего среднего (англ. season autoregressive integrated moving average, SARIMA) учитывает сезонность, добавляя линейную комбинацию прошлых сезонных значений и/или прошлых ошибок прогноза.
Для полного ввода в ARIMA, SARIMA читайте по [https://otexts.com/fpp2/arima.html ссылке].

Данные графики показывают предсказания полученные для 2007 года с использованием модели SARIMA (рис. 11,12).

===Garch===
 
[[Файл:GARCH.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 13. ARMA]]] 

В предыдущих моделях считалось, что слагаемое ошибки в стохастическом процессе генерации временного ряда имело одинаковую дисперсию.

В GARСH-модели (рис. 13) предполагается, что слагаемое ошибки следуют авторегрессионному скользящему среднему (англ. AutoRegressive Moving Average, ARMA), соответственно слагаемое меняется по ходу времени. Это особенно полезно при моделировании финансовых временных рядов, так как диапазон изменений тоже постоянно меняется.

Обычно ARMA используется и для учёта среднего, более подробное введение в Garsh можно найти [https://cran.r-project.org/web/packages/rugarch/vignettes/Introduction_to_the_rugarch_package.pdf здесь] 

===Динамические линейные модели===
[[Файл:DLM+Decomposition.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 14. DLM]]] 
Динамические линейные модели представляют другой класс моделей предсказания временных рядов(рис. 14).
Идея заключается в том, что в каждый момент времени $t$ эти модели соответствуют линейной модели, но коэффициент регрессии постоянно меняется. Пример динамической линейной модели ниже: 
$y(t) = ⍺(t) + tβ(t) + w(t)$ 
$⍺(t) = ⍺(t-1) + m(t)$ 
$β(t) = β(t-1) + r(t)$ 
$w(t)~N(0,W) , m(t)~N(0,M) , r(t)~N(0,R)$ 

В предыдущей модели коэффициенты $a(t)$ и $b(t)$ следуют случайному блужданию.

Динамические линейные модели могут быть построены в рамках Байесовской системы. Тем не менее и этот метод можно улучшить, подробности [https://cran.r-project.org/web/packages/dlm/vignettes/dlm.pdf здесь]. 

===TBATS===
 
[[Файл:TBATS_Electrical.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 15. DLM]]]
TBATS {{---}} это модели, которые основаны на экспоненциальном сглаживании(рис. 15). Главной особенностью TBATS является возможность взаимодействия с несколькими сезонностями. Моделируя каждую функцию сезонности отдельным тригонометрическим отображением построенным на рядах Фурье. Классическим примером комплексной сезонности будет отображение ежедневных объемов продаж, которые имеет, как еженедельные колебания, так и ежегодные. 

Больше информации можно прочиать [https://robjhyndman.com/papers/ComplexSeasonality.pdf тут]. 

===Prophet===
 
Ещё одна модель, способная взаимодействовать с несколькими сезонностями.
Это ПО с открытым исходным кодом от Фейсбука (рис. 16). 
[[Файл:Prophet.png |right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 16. Prophet]]]

Prophet считает, что временной ряд может быть расложен следующим образом: 
$y(t) = g(t) + s(t) + h(t) + ε(t)$ 
$g(t)$ {{---}} тренд. 
$s(t)$ {{---}} сезонность. 
$h(t)$ {{---}} каникулы. 
$ε(t)$ {{---}} ошибки. 

Подгонка модели представляет собой упражнение по подгонке кривой, поэтому она явно не учитывает структуру временной зависимости в данных. Это также позволяет проводить наблюдения с нерегулярным интервалом. 
Есть два варианта временных рядов тренда: модель насыщающего роста и кусочно-линейная модель. Модель многопериодной сезонности основана на рядах Фурье<ref>[[Определение ряда Фурье]]</ref>. Эффект известных и заказных выходных дней может быть легко включен в модель. 
Модель Prophet вставлена в байесовскую структуру и позволяет сделать полный апостериорный вывод, чтобы включить неопределенность параметров модели в неопределенность прогноза. 

===NNETAR===
 
Модель авторегрессии нейронной сети (англ. Neural NETwork AutoRegression, NNETAR) представляет собой полностью связанную [https://neerc.ifmo.ru/wiki/index.php?title=Нейронные_сети,_перцептрон нейронную сеть].

Модель NNETAR принимает на вход последние элементы последовательности до момента времени $t$ и выводит прогнозируемое значение в момент времени $t + 1$. Для выполнения многоэтапных прогнозов сеть применяется итеративно.

===LSTM===
 
Модели [[:Долгая_краткосрочная_память|cети долго-краткосрочной памяти]] (англ. Long short-term memory, LSTM) могут использоваться для прогнозирования временных рядов (а также других рекуррентных нейронных сетей). 
Состояние сети LSTM представлено через вектор пространства состояний. Этот метод позволяет отслеживать зависимости новых наблюдений от прошлых (даже очень далеких). 
Вообще говоря, LSTM представляют собой сложные модели, и они редко используются для прогнозирования одного временного ряда, поскольку для их оценки требуется большой объем данных. Однако они обычно используются, когда необходимы прогнозы для большого количества временных рядов ([https://arxiv.org/abs/1704.04110 как показано здесь]).

==Оценка==
[[Файл:Evaluation.png |right|600px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 17. MAE с перекрестной проверкой для каждой модели]]]
Выполнен выбор модели с помощью процедуры перекрестной проверки, описанной ранее. Не рассчитывая его для динамических линейных моделей и моделей LSTM из-за их высокой вычислительной стоимости и низкой производительности. 
На следующем рисунке показана [[средняя абсолютная ошибка]] (англ. Mean Absolute Error, MAE) с перекрестной проверкой для каждой модели и для каждого временного горизонта (рис. 17):

Модель NNETAR по сезонно скорректированным данным была лучшей моделью для данной задачи, поскольку она соответствовала самому низкому значению MAE, прошедшему перекрестную проверку. 
Чтобы получить объективную оценку наилучшей производительности модели, вычислим MAE на тестовом наборе(рис. 18), получив оценку, равную 5,24. На следующем рисунке можно увидеть MAE, оцененную на тестовой выборке для каждого временного горизонта. 

[[Файл:Cross-validated MAE.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 18. MAE, тестовый набор]]]
 
===Как еще больше повысить производительность===
Другие методы повышения производительности моделей:
*Использование разных моделей для разных временных горизонтов
*Объединение нескольких прогнозов (например, с учетом среднего прогноза)
*'''Агрегация начальных данных'''
 
Последний метод можно резюмировать следующим образом:
*Разложите исходный временной ряд (например, используя STL)
*Создайте набор похожих временных рядов путем случайного перемешивания фрагментов оставшейся компоненты.
*Подбирайте модель для каждого временного ряда
*Средние прогнозы каждой модели

==Заключительные замечания==
Большинство ранее описанных моделей позволяют легко включать изменяющиеся во времени предикторы. Они могут быть извлечены из одного и того же временного ряда или могут соответствовать внешним предикторам (например, временному ряду другого индекса). В последнем случае мы должны обратить внимание на то, чтобы не использовать информацию из будущего, которая могла бы быть удовлетворена путем прогнозирования предикторов или использования версий c ошибками. 

Обратите внимание, что в данном конспекте рассматривается случай, когда у нас есть один временной ряд для прогнозирования. Когда у нас много временных рядов, может быть предпочтительнее глобальный подход, поскольку он позволяет нам оценивать более сложную и потенциально более точную модель. Чтобы ознакомиться с глобальным подходом, щелкните [https://arxiv.org/abs/1704.04110 здесь].

==См. Также==
* [[Кластеризация]]
* [[Уменьшение размерности]]
* [[Рекомендательные системы]]
* [[Анализ социальных сетей]]
* [[Графовые нейронные сети]]
* [[Компьютерное зрение]]

== Примечания ==
<references/>

==Источники Информации==
* Филатов, А. В. Заметки профайлера / А. В. Филатов. -Москва: Издательские решения, 2019. -522.
* [http://www.machinelearning.ru/wiki/index.php?title=Временной_ряд machinelearning.ru]
*[https://ru.wikipedia.org/wiki/Временной_ряд Википедия: Временной ряд]
*[http://statsoft.ru/home/textbook/modules/sttimser.html StatSoft: Анализ временных рядов]
[[Категория: Машинное обучение]]
[[Категория: Анализ временных рядов]]

Анализ временных рядов

2021-01-15T03:32:03Z

Cga: /* Экспоненциальное сглаживание */

Временные ряды {{---}} это актуальный инструмент применимый во множестве решений, от предсказания цен на акции, прогнозов погоды, планирования бизнеса, до распределения ресурсов. Несмотря на то, что прогнозирование может быть сведено к построению контролируемой [[Вариации регрессии|регрессии]], существуют особенноссти, связанные с временным характером наблюдений, которые необходимо учитывать, используя специальные инструменты. 

==Временной ряд==
{{Определение
|definition =
'''Временно́й ряд (или ряд динамики)''' {{---}} собранный в разные моменты времени статистический материал о значении каких-либо параметров (в простейшем случае одного) исследуемого процесса. Каждая единица статистического материала называется измерением или отсчётом. Во временном ряде для каждого отсчёта должно быть указано время измерения или номер измерения по порядку.
}}

Как и большинство других видов анализа, анализ временных рядов предполагает, что данные содержат систематическую составляющую (обычно включающую несколько компонент) и случайный шум (ошибку), который затрудняет обнаружение регулярных компонент. Большинство методов исследования временных рядов включает различные способы фильтрации шума, позволяющие увидеть регулярную составляющую более отчетливо. Большинство регулярных составляющих временных рядов принадлежит к двум классам: они являются либо трендом, либо сезонной составляющей. Тренд представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Сезонная составляющая - это периодически повторяющаяся компонента. Оба эти вида регулярных компонент часто присутствуют в ряде одновременно.

==Валидирование и тестирование модели временного ряда==
Данные упорядочены относительно неслучайных моментов времени, и, значит, в отличие от случайных выборок, могут содержать в себе дополнительную информацию, поэтому нельзя пользоваться обычными способами валидации. Чтобы избежать смещения оценки необходимо удостовериться, что обучающие наборы данных содержат только наблюдения, которые произошли до событий из валидирующиx наборов. 
[[Файл:TimeSeriesCross-validation.png |thumb|left|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 1. кросс-валидация временного ряда]]] 

Возможным способом преодоления данной проблемы будет использование скользящего окна, как описано [https://robjhyndman.com/hyndsight/tscv/ здесь]. Эта процедура называется [[Кросс-валидация|кросс-валидацией]] временного ряда и может быть вкратце описана следующей картинкой (рис. 1), в которой синие точки обозначают тренировочный набор данных, а красные соответствующие валидационные наборы данных. 

Если необходимо предсказать следующие $n$ шагов, то можно заранее кросс-валидировать $1,2,...,n$. Таким образом можно также сравнить качество предсказаний для разных временных горизонтов. 

Определив лучшую модель, можно применить её ко всему обучающему набору и оценить его работу на следующем во времени наборе данных. Оценка работы может быть дана с использованием метода скользящего окна<ref>[https://wiki.loginom.ru/articles/windowing-method.html loginom: Метод скользящего окна]</ref>, который используем при кросс-валидации, но без переподсчёта параметра модели.

==Краткое исследование данных==
[[Файл:ManufactureOfElectricalEquipment.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 2. Набор данных описывающий график производства электрооборудования]]] 

В данной части используется несколько разных моделей для предсказания изменений в промышленном производстве, которые для примера будем оценивать численно, как количество электрооборудования, произведённого в зоне Евро (рис. 2, 3). 
[[Файл:SeasonalPlotMonthluSeasonalPattern.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 3. Сезонные колебания]]]
Набор данных описывает ежемесячное производство электрооборудования (компьютеры электрические и оптические приборы) в зоне евро (17 стран) в период с января 1996 по март 2012 года (см. график ниже). Последние два года будем использовать при тестировании. 

==Модели прогнозирования временных рядов==

Существует 10 моделей прогнозирования, у каждой имеются свои достоинства и недостатки. Ниже, используя каждую модель, предскажем 12 месяцев, соответственно, значение $t+1, t+2, …, t + 12$.
Имеет смысл использовать среднюю абсолютную ошибку для работы оценки модели. 

===Наивное предсказание===
[[Файл:NaiveElectricalEquipmentManufacturing.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 4. Наивная]]] 

Предсказания для каждого горизонта соотвествуют последнему наблюдаемому значению
$Y(t + h|t) = Y(t)$.

Такие предскания предполагают, что стохастическая<ref>[https://ru.wikipedia.org/wiki/Стохастичность Википедия: Стохастичность]</ref> модель генерирует [[Участник:Mk17.ru|случайное блуждание]]. 
[[Файл:SeasonalNaiveElectricalEquipmentManufacturing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 5. Cезонно-наивная]]] 
Расширение наивной модели сезонно-наивная модель (англ. Season Naive, SNAIVE) {{---}} сезонно-наивная модель предполагает, что временной ряд имеет сезонную компоненту, и что период сезонности T. 

Прогнозы SNAIVE {{---}} модели описываются формулой $\dot{Y}(t+h|t) = Y(t+h-T)$.

Получаемые прогнозы следующие T шагов совпадают с предыдущими T шагами.
Эти модели часто используются как ориентировочные модели. Следующий графики показывают предсказания двух моделей для 2007 года (рис. 4, 5). 

===Разделение по сезонам + любая модель===
[[Файл:STL_docompositionOnIndustrialProductionIndexData.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 6. Методы разложения ряда]]] 
Если данные показывают, что они восприимчивы к периодическим (сезонным) изменениям (ежедневно, еженедельно, ежеквартально, ежегодно), то будет полезным разложить исходный временной ряд на сумму трёх компонентов. 

$Y(t) = S(t) + T(t) + R(t)$ 
$S(t)$ {{---}} сезонный компонент. 
$T(t)$ {{---}} компонент трендового цикла. 
$R(t)$ {{---}} остаток. 
Существуют несколько способов для такого разложения, но наиболее простой называется классическим разложением и заключается в том, чтобы оценить тренд $T(t)$ через скользящее среднее, посчитать $S(t)$, как среднее без тренда $Y(t) - T(t)$ для каждого сезона 
Посчитать остаток, как $R(t) = Y(t) - T(t)-S(t)$. 
[[Файл:SeasonallyAdjustedIndustrial.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 7. Сезонные индексы ряда]]]
Классическое разложение можно расширить несколькими способами. 
Расширение позволяет использовать данный метод при:
* непостоянной величине сезона
* посчитать начальные и конечные значения декомпозиции
* избежать лишнего сглаживания

Обзор методов разложений ряда можно увидеть по [https://otexts.com/fpp2/decomposition.html ссылке]. Используется реализация из стандартной библиотеки (рис. 6). 

Одним из способов использования декомпозиции для прогнозирования будет: 
1) Разложить обучающий набор алгоритмом из STL. 
2) Посчитать сезонное отклонение ряда $Y(t) - S(t)$, используя любую модель для прогнозирования сезонно-чувствительного временного ряда. 
3) Добавить прогнозам сезонность последнего временного периода во временном ряду (в нашем случае $S(t)$ для прошлого года). 
[[Файл:SeasonallyAdjustedTimeSeries.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 8. Декомпозиция и наивная модель]]] 
На следующем графике показаны сезонные индексы ряда с учётом сезонности (рис. 7): 

Следующий график показывает предсказания полученные для 2007 года с использованием STL декомпозиции и наивной модели(рис. 8) для сезонно-изменяемого временного ряда: 

Декомпозиция была исплементирована с помощью встроенной в стандартную библиотеку функции.

===Экспоненциальное сглаживание ===
 
[[Файл:ExpSmoothing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 9. данные полученные для 2007 года с использованием модели экспоненциального сглаживания]]]
Экспоненциальное сглаживание<ref>[https://ru.wikipedia.org/wiki/Экспоненциальное_сглаживание Википедия: Экспоненциальное сглаживание]</ref> {{---}} один из наиболее успешных классических методов предсказаний. В своей базовой форме он называется простым экспоненциальный сглаживанием и его прогнозы описываются формулами:
$Ŷ(t+h|t) = ⍺y(t) + ⍺(1-⍺)y(t-1) + ⍺(1-⍺)²y(t-2) + …$ 
'''''где $0<⍺<1.$''''' 
[[Файл:ExpSmoothing+Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 10. данные полученные для 2007 года с использованием модели экспоненциального сглаживания и декомпозиции]]]

Заметно, что прогнозы равны взвешенному среднему от старых наблюдений, и что соответствующие веса убывают экспоненциально по мере хода времени.

Некоторые методы для расширения алгоритма позволяют добавить тренд, его затухание и сезонность.
Экспоненциальное сглаживание состоит из 9 моделей, которые подробно описаны здесь([https://otexts.com/fpp2/taxonomy.html ссылка]).

Следующие графики (рис. 9, 10) описывают прогнозы данных полученные для 2007 года с использованием модели экспоненциального сглаживания (выбраны автоматически), которые подходили исходному и сезонно-чувствительному временному ряду. 

===ARIMA, SARIMA===
 
[[Файл:SARIMA.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11. SARIMA]]]
Также как и экспоненциальное сглаживание, интегрированная модель авторегрессии скользящего среднего (англ. autoregressive integrated moving average, ARIMA) также часто используются для прогноза временных рядов.

{{Определение
|definition =
'''Авторегрессивность''' {{---}} линейная комбинация старых значений.
}}
{{Определение
|definition =
'''Процесс авторегрессии''' {{---}} последовательная зависимость элементов временного ряда, выразается следующим уравнением:
$x(t) = \psi + \phi_1 * x_(t-1) + \phi_2 * x_(t-2) + \phi_3 * x_(t-3) + ... + \epsilon$ 
Где $\psi$ - свободный член(константа) 
$\phi_1, \phi_2, \phi_3, ...$ - параметры авторегрессии
}}
{{Определение
|definition =
'''Скользящее среднее''' {{---}} общее название для семейства функций, значения которых в каждой точке определения равны некоторому среднему значению исходной функции за предыдущий период.
}}

{{Определение
|definition =
'''Процесс скользящего среднего''' {{---}} в процессе скользящего среднего каждый элемент ряда подвержен суммарному воздействию предыдущих ошибок. В общем виде это можно записать следующим образом:
$x_t = \mu + \epsilon_t - \theta_1 * \epsilon_{t-1} - \theta_2 * \epsilon_{t-2} - ...$ 
Где $\mu$ - константа 
$\theta_1, \theta_2, \theta_3, ...$ - параметры скользящего среднего
}}
[[Файл:SARIMA_Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 12. SARIMA декомпозированная]]]
ARIMA {{---}} комбинация этих двух подходов. Так как эти подходы требуются стационарности временного ряда, может понадобится продифференциировать/проинтегрировать ряд.
То есть рассматировать ряд разностей, а не исходный ряд.

Сезонная интегрированная модель авторегрессии скользящего среднего (англ. season autoregressive integrated moving average, SARIMA) учитывает сезонность, добавляя линейную комбинацию прошлых сезонных значений и/или прошлых ошибок прогноза.
Для полного ввода в ARIMA, SARIMA читайте по [https://otexts.com/fpp2/arima.html ссылке].

Данные графики показывают предсказания полученные для 2007 года с использованием модели SARIMA (рис. 11,12).

===Garch===
 
[[Файл:GARCH.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 13. ARMA]]] 

В предыдущих моделях считалось, что слагаемое ошибки в стохастическом процессе генерации временного ряда имело одинаковую дисперсию.

В GARСH-модели (рис. 13) предполагается, что слагаемое ошибки следуют авторегрессионному скользящему среднему (англ. AutoRegressive Moving Average, ARMA), соответственно слагаемое меняется по ходу времени. Это особенно полезно при моделировании финансовых временных рядов, так как диапазон изменений тоже постоянно меняется.

Обычно ARMA используется и для учёта среднего, более подробное введение в Garsh можно найти [https://cran.r-project.org/web/packages/rugarch/vignettes/Introduction_to_the_rugarch_package.pdf здесь] 

===Динамические линейные модели===
[[Файл:DLM+Decomposition.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 14. DLM]]] 
Динамические линейные модели представляют другой класс моделей предсказания временных рядов(рис. 14).
Идея заключается в том, что в каждый момент времени $t$ эти модели соответствуют линейной модели, но коэффициент регрессии постоянно меняется. Пример динамической линейной модели ниже: 
$y(t) = ⍺(t) + tβ(t) + w(t)$ 
$⍺(t) = ⍺(t-1) + m(t)$ 
$β(t) = β(t-1) + r(t)$ 
$w(t)~N(0,W) , m(t)~N(0,M) , r(t)~N(0,R)$ 

В предыдущей модели коэффициенты $a(t)$ и $b(t)$ следуют случайному блужданию.

Динамические линейные модели могут быть построены в рамках Байесовской системы. Тем не менее и этот метод можно улучшить, подробности [https://cran.r-project.org/web/packages/dlm/vignettes/dlm.pdf здесь]. 

===TBATS===
 
[[Файл:TBATS_Electrical.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 15. DLM]]]
TBATS {{---}} это модели, которые основаны на экспоненциальном сглаживании(рис. 15). Главной особенностью TBATS является возможность взаимодействия с несколькими сезонностями. Моделируя каждую функцию сезонности отдельным тригонометрическим отображением построенным на рядах Фурье. Классическим примером комплексной сезонности будет отображение ежедневных объемов продаж, которые имеет, как еженедельные колебания, так и ежегодные. 

Больше информации можно прочиать [https://robjhyndman.com/papers/ComplexSeasonality.pdf тут]. 

===Prophet===
 
Ещё одна модель, способная взаимодействовать с несколькими сезонностями.
Это ПО с открытым исходным кодом от Фейсбука (рис. 16). 
[[Файл:Prophet.png |right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 16. Prophet]]]

Prophet считает, что временной ряд может быть расложен следующим образом: 
$y(t) = g(t) + s(t) + h(t) + ε(t)$ 
$g(t)$ {{---}} тренд. 
$s(t)$ {{---}} сезонность. 
$h(t)$ {{---}} каникулы. 
$ε(t)$ {{---}} ошибки. 

Подгонка модели представляет собой упражнение по подгонке кривой, поэтому она явно не учитывает структуру временной зависимости в данных. Это также позволяет проводить наблюдения с нерегулярным интервалом. 
Есть два варианта временных рядов тренда: модель насыщающего роста и кусочно-линейная модель. Модель многопериодной сезонности основана на рядах Фурье<ref>[[Определение ряда Фурье]]</ref>. Эффект известных и заказных выходных дней может быть легко включен в модель. 
Модель Prophet вставлена в байесовскую структуру и позволяет сделать полный апостериорный вывод, чтобы включить неопределенность параметров модели в неопределенность прогноза. 

===NNETAR===
 
Модель авторегрессии нейронной сети (англ. Neural NETwork AutoRegression, NNETAR) представляет собой полностью связанную [https://neerc.ifmo.ru/wiki/index.php?title=Нейронные_сети,_перцептрон нейронную сеть].

Модель NNETAR принимает на вход последние элементы последовательности до момента времени $t$ и выводит прогнозируемое значение в момент времени $t + 1$. Для выполнения многоэтапных прогнозов сеть применяется итеративно.

===LSTM===
 
Модели [[:Долгая_краткосрочная_память|cети долго-краткосрочной памяти]] (англ. Long short-term memory, LSTM) могут использоваться для прогнозирования временных рядов (а также других рекуррентных нейронных сетей). 
Состояние сети LSTM представлено через вектор пространства состояний. Этот метод позволяет отслеживать зависимости новых наблюдений от прошлых (даже очень далеких). 
Вообще говоря, LSTM представляют собой сложные модели, и они редко используются для прогнозирования одного временного ряда, поскольку для их оценки требуется большой объем данных. Однако они обычно используются, когда необходимы прогнозы для большого количества временных рядов ([https://arxiv.org/abs/1704.04110 как показано здесь]).

==Оценка==
[[Файл:Evaluation.png |right|600px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 17. MAE с перекрестной проверкой для каждой модели]]]
Выполнен выбор модели с помощью процедуры перекрестной проверки, описанной ранее. Не рассчитывая его для динамических линейных моделей и моделей LSTM из-за их высокой вычислительной стоимости и низкой производительности. 
На следующем рисунке показана [[средняя абсолютная ошибка]] (англ. Mean Absolute Error, MAE) с перекрестной проверкой для каждой модели и для каждого временного горизонта (рис. 17):

Модель NNETAR по сезонно скорректированным данным была лучшей моделью для данной задачи, поскольку она соответствовала самому низкому значению MAE, прошедшему перекрестную проверку. 
Чтобы получить объективную оценку наилучшей производительности модели, вычислим MAE на тестовом наборе(рис. 18), получив оценку, равную 5,24. На следующем рисунке можно увидеть MAE, оцененную на тестовой выборке для каждого временного горизонта. 

[[Файл:Cross-validated MAE.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 18. MAE, тестовый набор]]]
 
===Как еще больше повысить производительность===
Другие методы повышения производительности моделей:
*Использование разных моделей для разных временных горизонтов
*Объединение нескольких прогнозов (например, с учетом среднего прогноза)
*'''Агрегация начальных данных'''
 
Последний метод можно резюмировать следующим образом:
*Разложите исходный временной ряд (например, используя STL)
*Создайте набор похожих временных рядов путем случайного перемешивания фрагментов оставшейся компоненты.
*Подбирайте модель для каждого временного ряда
*Средние прогнозы каждой модели

==Заключительные замечания==
Большинство ранее описанных моделей позволяют легко включать изменяющиеся во времени предикторы. Они могут быть извлечены из одного и того же временного ряда или могут соответствовать внешним предикторам (например, временному ряду другого индекса). В последнем случае мы должны обратить внимание на то, чтобы не использовать информацию из будущего, которая могла бы быть удовлетворена путем прогнозирования предикторов или использования версий c ошибками. 

Обратите внимание, что в данном конспекте рассматривается случай, когда у нас есть один временной ряд для прогнозирования. Когда у нас много временных рядов, может быть предпочтительнее глобальный подход, поскольку он позволяет нам оценивать более сложную и потенциально более точную модель. Чтобы ознакомиться с глобальным подходом, щелкните [https://arxiv.org/abs/1704.04110 здесь].

==См. Также==
* [[Кластеризация]]
* [[Уменьшение размерности]]
* [[Рекомендательные системы]]
* [[Анализ социальных сетей]]
* [[Графовые нейронные сети]]
* [[Компьютерное зрение]]

== Примечания ==
<references/>

==Источники Информации==
* Филатов, А. В. Заметки профайлера / А. В. Филатов. -Москва: Издательские решения, 2019. -522.
* [http://www.machinelearning.ru/wiki/index.php?title=Временной_ряд machinelearning.ru]
*[https://ru.wikipedia.org/wiki/Временной_ряд Википедия: Временной ряд]
*[http://statsoft.ru/home/textbook/modules/sttimser.html StatSoft: Анализ временных рядов]
[[Категория: Машинное обучение]]
[[Категория: Анализ временных рядов]]

Анализ временных рядов

2021-01-15T03:29:24Z

Cga: /* ARIMA, SARIMA */

Временные ряды {{---}} это актуальный инструмент применимый во множестве решений, от предсказания цен на акции, прогнозов погоды, планирования бизнеса, до распределения ресурсов. Несмотря на то, что прогнозирование может быть сведено к построению контролируемой [[Вариации регрессии|регрессии]], существуют особенноссти, связанные с временным характером наблюдений, которые необходимо учитывать, используя специальные инструменты. 

==Временной ряд==
{{Определение
|definition =
'''Временно́й ряд (или ряд динамики)''' {{---}} собранный в разные моменты времени статистический материал о значении каких-либо параметров (в простейшем случае одного) исследуемого процесса. Каждая единица статистического материала называется измерением или отсчётом. Во временном ряде для каждого отсчёта должно быть указано время измерения или номер измерения по порядку.
}}

Как и большинство других видов анализа, анализ временных рядов предполагает, что данные содержат систематическую составляющую (обычно включающую несколько компонент) и случайный шум (ошибку), который затрудняет обнаружение регулярных компонент. Большинство методов исследования временных рядов включает различные способы фильтрации шума, позволяющие увидеть регулярную составляющую более отчетливо. Большинство регулярных составляющих временных рядов принадлежит к двум классам: они являются либо трендом, либо сезонной составляющей. Тренд представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Сезонная составляющая - это периодически повторяющаяся компонента. Оба эти вида регулярных компонент часто присутствуют в ряде одновременно.

==Валидирование и тестирование модели временного ряда==
Данные упорядочены относительно неслучайных моментов времени, и, значит, в отличие от случайных выборок, могут содержать в себе дополнительную информацию, поэтому нельзя пользоваться обычными способами валидации. Чтобы избежать смещения оценки необходимо удостовериться, что обучающие наборы данных содержат только наблюдения, которые произошли до событий из валидирующиx наборов. 
[[Файл:TimeSeriesCross-validation.png |thumb|left|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 1. кросс-валидация временного ряда]]] 

Возможным способом преодоления данной проблемы будет использование скользящего окна, как описано [https://robjhyndman.com/hyndsight/tscv/ здесь]. Эта процедура называется [[Кросс-валидация|кросс-валидацией]] временного ряда и может быть вкратце описана следующей картинкой (рис. 1), в которой синие точки обозначают тренировочный набор данных, а красные соответствующие валидационные наборы данных. 

Если необходимо предсказать следующие $n$ шагов, то можно заранее кросс-валидировать $1,2,...,n$. Таким образом можно также сравнить качество предсказаний для разных временных горизонтов. 

Определив лучшую модель, можно применить её ко всему обучающему набору и оценить его работу на следующем во времени наборе данных. Оценка работы может быть дана с использованием метода скользящего окна<ref>[https://wiki.loginom.ru/articles/windowing-method.html loginom: Метод скользящего окна]</ref>, который используем при кросс-валидации, но без переподсчёта параметра модели.

==Краткое исследование данных==
[[Файл:ManufactureOfElectricalEquipment.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 2. Набор данных описывающий график производства электрооборудования]]] 

В данной части используется несколько разных моделей для предсказания изменений в промышленном производстве, которые для примера будем оценивать численно, как количество электрооборудования, произведённого в зоне Евро (рис. 2, 3). 
[[Файл:SeasonalPlotMonthluSeasonalPattern.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 3. Сезонные колебания]]]
Набор данных описывает ежемесячное производство электрооборудования (компьютеры электрические и оптические приборы) в зоне евро (17 стран) в период с января 1996 по март 2012 года (см. график ниже). Последние два года будем использовать при тестировании. 

==Модели прогнозирования временных рядов==

Существует 10 моделей прогнозирования, у каждой имеются свои достоинства и недостатки. Ниже, используя каждую модель, предскажем 12 месяцев, соответственно, значение $t+1, t+2, …, t + 12$.
Имеет смысл использовать среднюю абсолютную ошибку для работы оценки модели. 

===Наивное предсказание===
[[Файл:NaiveElectricalEquipmentManufacturing.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 4. Наивная]]] 

Предсказания для каждого горизонта соотвествуют последнему наблюдаемому значению
$Y(t + h|t) = Y(t)$.

Такие предскания предполагают, что стохастическая<ref>[https://ru.wikipedia.org/wiki/Стохастичность Википедия: Стохастичность]</ref> модель генерирует [[Участник:Mk17.ru|случайное блуждание]]. 
[[Файл:SeasonalNaiveElectricalEquipmentManufacturing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 5. Cезонно-наивная]]] 
Расширение наивной модели сезонно-наивная модель (англ. Season Naive, SNAIVE) {{---}} сезонно-наивная модель предполагает, что временной ряд имеет сезонную компоненту, и что период сезонности T. 

Прогнозы SNAIVE {{---}} модели описываются формулой $\dot{Y}(t+h|t) = Y(t+h-T)$.

Получаемые прогнозы следующие T шагов совпадают с предыдущими T шагами.
Эти модели часто используются как ориентировочные модели. Следующий графики показывают предсказания двух моделей для 2007 года (рис. 4, 5). 

===Разделение по сезонам + любая модель===
[[Файл:STL_docompositionOnIndustrialProductionIndexData.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 6. Методы разложения ряда]]] 
Если данные показывают, что они восприимчивы к периодическим (сезонным) изменениям (ежедневно, еженедельно, ежеквартально, ежегодно), то будет полезным разложить исходный временной ряд на сумму трёх компонентов. 

$Y(t) = S(t) + T(t) + R(t)$ 
$S(t)$ {{---}} сезонный компонент. 
$T(t)$ {{---}} компонент трендового цикла. 
$R(t)$ {{---}} остаток. 
Существуют несколько способов для такого разложения, но наиболее простой называется классическим разложением и заключается в том, чтобы оценить тренд $T(t)$ через скользящее среднее, посчитать $S(t)$, как среднее без тренда $Y(t) - T(t)$ для каждого сезона 
Посчитать остаток, как $R(t) = Y(t) - T(t)-S(t)$. 
[[Файл:SeasonallyAdjustedIndustrial.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 7. Сезонные индексы ряда]]]
Классическое разложение можно расширить несколькими способами. 
Расширение позволяет использовать данный метод при:
* непостоянной величине сезона
* посчитать начальные и конечные значения декомпозиции
* избежать лишнего сглаживания

Обзор методов разложений ряда можно увидеть по [https://otexts.com/fpp2/decomposition.html ссылке]. Используется реализация из стандартной библиотеки (рис. 6). 

Одним из способов использования декомпозиции для прогнозирования будет: 
1) Разложить обучающий набор алгоритмом из STL. 
2) Посчитать сезонное отклонение ряда $Y(t) - S(t)$, используя любую модель для прогнозирования сезонно-чувствительного временного ряда. 
3) Добавить прогнозам сезонность последнего временного периода во временном ряду (в нашем случае $S(t)$ для прошлого года). 
[[Файл:SeasonallyAdjustedTimeSeries.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 8. Декомпозиция и наивная модель]]] 
На следующем графике показаны сезонные индексы ряда с учётом сезонности (рис. 7): 

Следующий график показывает предсказания полученные для 2007 года с использованием STL декомпозиции и наивной модели(рис. 8) для сезонно-изменяемого временного ряда: 

Декомпозиция была исплементирована с помощью встроенной в стандартную библиотеку функции.

===Экспоненциальное сглаживание ===
 
[[Файл:ExpSmoothing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 9. данные полученные для 2007 года с использованием модели экспоненциального сглаживания]]]
Экспоненциальное сглаживание<ref>[https://ru.wikipedia.org/wiki/Экспоненциальное_сглаживание Википедия: Экспоненциальное сглаживание]</ref> {{---}} один из наиболее успешных классических методов предсказаний. В своей базовой форме он называется простым экспоненциальный сглаживанием и его прогнозы описываются формулами:
$Ŷ(t+h|t) = ⍺y(t) + ⍺(1-⍺)y(t-1) + ⍺(1-⍺)²y(t-2) + …$ 
'''''with $0<⍺<1.$''''' 
[[Файл:ExpSmoothing+Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 10. данные полученные для 2007 года с использованием модели экспоненциального сглаживания и декомпозиции]]]

Заметно, что прогнозы равны взвешенному среднему от старых наблюдений, и что соответствующие веса убывают экспоненциально по мере хода времени.

Некоторые методы для расширения алгоритма позволяют добавить тренд, его затухание и сезонность.
Экспоненциальное сглаживание состоит из 9 моделей, которые подробно описаны здесь([https://otexts.com/fpp2/taxonomy.html ссылка]).

Следующие графики (рис. 9, 10) описывают прогнозы данных полученные для 2007 года с использованием модели экспоненциального сглаживания (выбраны автоматически), которые подходили исходному и сезонно-чувствительному временному ряду. 

===ARIMA, SARIMA===
 
[[Файл:SARIMA.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11. SARIMA]]]
Также как и экспоненциальное сглаживание, интегрированная модель авторегрессии скользящего среднего (англ. autoregressive integrated moving average, ARIMA) также часто используются для прогноза временных рядов.

{{Определение
|definition =
'''Авторегрессивность''' {{---}} линейная комбинация старых значений.
}}
{{Определение
|definition =
'''Процесс авторегрессии''' {{---}} последовательная зависимость элементов временного ряда, выразается следующим уравнением:
$x(t) = \psi + \phi_1 * x_(t-1) + \phi_2 * x_(t-2) + \phi_3 * x_(t-3) + ... + \epsilon$ 
Где $\psi$ - свободный член(константа) 
$\phi_1, \phi_2, \phi_3, ...$ - параметры авторегрессии
}}
{{Определение
|definition =
'''Скользящее среднее''' {{---}} общее название для семейства функций, значения которых в каждой точке определения равны некоторому среднему значению исходной функции за предыдущий период.
}}

{{Определение
|definition =
'''Процесс скользящего среднего''' {{---}} в процессе скользящего среднего каждый элемент ряда подвержен суммарному воздействию предыдущих ошибок. В общем виде это можно записать следующим образом:
$x_t = \mu + \epsilon_t - \theta_1 * \epsilon_{t-1} - \theta_2 * \epsilon_{t-2} - ...$ 
Где $\mu$ - константа 
$\theta_1, \theta_2, \theta_3, ...$ - параметры скользящего среднего
}}
[[Файл:SARIMA_Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 12. SARIMA декомпозированная]]]
ARIMA {{---}} комбинация этих двух подходов. Так как эти подходы требуются стационарности временного ряда, может понадобится продифференциировать/проинтегрировать ряд.
То есть рассматировать ряд разностей, а не исходный ряд.

Сезонная интегрированная модель авторегрессии скользящего среднего (англ. season autoregressive integrated moving average, SARIMA) учитывает сезонность, добавляя линейную комбинацию прошлых сезонных значений и/или прошлых ошибок прогноза.
Для полного ввода в ARIMA, SARIMA читайте по [https://otexts.com/fpp2/arima.html ссылке].

Данные графики показывают предсказания полученные для 2007 года с использованием модели SARIMA (рис. 11,12).

===Garch===
 
[[Файл:GARCH.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 13. ARMA]]] 

В предыдущих моделях считалось, что слагаемое ошибки в стохастическом процессе генерации временного ряда имело одинаковую дисперсию.

В GARСH-модели (рис. 13) предполагается, что слагаемое ошибки следуют авторегрессионному скользящему среднему (англ. AutoRegressive Moving Average, ARMA), соответственно слагаемое меняется по ходу времени. Это особенно полезно при моделировании финансовых временных рядов, так как диапазон изменений тоже постоянно меняется.

Обычно ARMA используется и для учёта среднего, более подробное введение в Garsh можно найти [https://cran.r-project.org/web/packages/rugarch/vignettes/Introduction_to_the_rugarch_package.pdf здесь] 

===Динамические линейные модели===
[[Файл:DLM+Decomposition.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 14. DLM]]] 
Динамические линейные модели представляют другой класс моделей предсказания временных рядов(рис. 14).
Идея заключается в том, что в каждый момент времени $t$ эти модели соответствуют линейной модели, но коэффициент регрессии постоянно меняется. Пример динамической линейной модели ниже: 
$y(t) = ⍺(t) + tβ(t) + w(t)$ 
$⍺(t) = ⍺(t-1) + m(t)$ 
$β(t) = β(t-1) + r(t)$ 
$w(t)~N(0,W) , m(t)~N(0,M) , r(t)~N(0,R)$ 

В предыдущей модели коэффициенты $a(t)$ и $b(t)$ следуют случайному блужданию.

Динамические линейные модели могут быть построены в рамках Байесовской системы. Тем не менее и этот метод можно улучшить, подробности [https://cran.r-project.org/web/packages/dlm/vignettes/dlm.pdf здесь]. 

===TBATS===
 
[[Файл:TBATS_Electrical.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 15. DLM]]]
TBATS {{---}} это модели, которые основаны на экспоненциальном сглаживании(рис. 15). Главной особенностью TBATS является возможность взаимодействия с несколькими сезонностями. Моделируя каждую функцию сезонности отдельным тригонометрическим отображением построенным на рядах Фурье. Классическим примером комплексной сезонности будет отображение ежедневных объемов продаж, которые имеет, как еженедельные колебания, так и ежегодные. 

Больше информации можно прочиать [https://robjhyndman.com/papers/ComplexSeasonality.pdf тут]. 

===Prophet===
 
Ещё одна модель, способная взаимодействовать с несколькими сезонностями.
Это ПО с открытым исходным кодом от Фейсбука (рис. 16). 
[[Файл:Prophet.png |right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 16. Prophet]]]

Prophet считает, что временной ряд может быть расложен следующим образом: 
$y(t) = g(t) + s(t) + h(t) + ε(t)$ 
$g(t)$ {{---}} тренд. 
$s(t)$ {{---}} сезонность. 
$h(t)$ {{---}} каникулы. 
$ε(t)$ {{---}} ошибки. 

Подгонка модели представляет собой упражнение по подгонке кривой, поэтому она явно не учитывает структуру временной зависимости в данных. Это также позволяет проводить наблюдения с нерегулярным интервалом. 
Есть два варианта временных рядов тренда: модель насыщающего роста и кусочно-линейная модель. Модель многопериодной сезонности основана на рядах Фурье<ref>[[Определение ряда Фурье]]</ref>. Эффект известных и заказных выходных дней может быть легко включен в модель. 
Модель Prophet вставлена в байесовскую структуру и позволяет сделать полный апостериорный вывод, чтобы включить неопределенность параметров модели в неопределенность прогноза. 

===NNETAR===
 
Модель авторегрессии нейронной сети (англ. Neural NETwork AutoRegression, NNETAR) представляет собой полностью связанную [https://neerc.ifmo.ru/wiki/index.php?title=Нейронные_сети,_перцептрон нейронную сеть].

Модель NNETAR принимает на вход последние элементы последовательности до момента времени $t$ и выводит прогнозируемое значение в момент времени $t + 1$. Для выполнения многоэтапных прогнозов сеть применяется итеративно.

===LSTM===
 
Модели [[:Долгая_краткосрочная_память|cети долго-краткосрочной памяти]] (англ. Long short-term memory, LSTM) могут использоваться для прогнозирования временных рядов (а также других рекуррентных нейронных сетей). 
Состояние сети LSTM представлено через вектор пространства состояний. Этот метод позволяет отслеживать зависимости новых наблюдений от прошлых (даже очень далеких). 
Вообще говоря, LSTM представляют собой сложные модели, и они редко используются для прогнозирования одного временного ряда, поскольку для их оценки требуется большой объем данных. Однако они обычно используются, когда необходимы прогнозы для большого количества временных рядов ([https://arxiv.org/abs/1704.04110 как показано здесь]).

==Оценка==
[[Файл:Evaluation.png |right|600px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 17. MAE с перекрестной проверкой для каждой модели]]]
Выполнен выбор модели с помощью процедуры перекрестной проверки, описанной ранее. Не рассчитывая его для динамических линейных моделей и моделей LSTM из-за их высокой вычислительной стоимости и низкой производительности. 
На следующем рисунке показана [[средняя абсолютная ошибка]] (англ. Mean Absolute Error, MAE) с перекрестной проверкой для каждой модели и для каждого временного горизонта (рис. 17):

Модель NNETAR по сезонно скорректированным данным была лучшей моделью для данной задачи, поскольку она соответствовала самому низкому значению MAE, прошедшему перекрестную проверку. 
Чтобы получить объективную оценку наилучшей производительности модели, вычислим MAE на тестовом наборе(рис. 18), получив оценку, равную 5,24. На следующем рисунке можно увидеть MAE, оцененную на тестовой выборке для каждого временного горизонта. 

[[Файл:Cross-validated MAE.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 18. MAE, тестовый набор]]]
 
===Как еще больше повысить производительность===
Другие методы повышения производительности моделей:
*Использование разных моделей для разных временных горизонтов
*Объединение нескольких прогнозов (например, с учетом среднего прогноза)
*'''Агрегация начальных данных'''
 
Последний метод можно резюмировать следующим образом:
*Разложите исходный временной ряд (например, используя STL)
*Создайте набор похожих временных рядов путем случайного перемешивания фрагментов оставшейся компоненты.
*Подбирайте модель для каждого временного ряда
*Средние прогнозы каждой модели

==Заключительные замечания==
Большинство ранее описанных моделей позволяют легко включать изменяющиеся во времени предикторы. Они могут быть извлечены из одного и того же временного ряда или могут соответствовать внешним предикторам (например, временному ряду другого индекса). В последнем случае мы должны обратить внимание на то, чтобы не использовать информацию из будущего, которая могла бы быть удовлетворена путем прогнозирования предикторов или использования версий c ошибками. 

Обратите внимание, что в данном конспекте рассматривается случай, когда у нас есть один временной ряд для прогнозирования. Когда у нас много временных рядов, может быть предпочтительнее глобальный подход, поскольку он позволяет нам оценивать более сложную и потенциально более точную модель. Чтобы ознакомиться с глобальным подходом, щелкните [https://arxiv.org/abs/1704.04110 здесь].

==См. Также==
* [[Кластеризация]]
* [[Уменьшение размерности]]
* [[Рекомендательные системы]]
* [[Анализ социальных сетей]]
* [[Графовые нейронные сети]]
* [[Компьютерное зрение]]

== Примечания ==
<references/>

==Источники Информации==
* Филатов, А. В. Заметки профайлера / А. В. Филатов. -Москва: Издательские решения, 2019. -522.
* [http://www.machinelearning.ru/wiki/index.php?title=Временной_ряд machinelearning.ru]
*[https://ru.wikipedia.org/wiki/Временной_ряд Википедия: Временной ряд]
*[http://statsoft.ru/home/textbook/modules/sttimser.html StatSoft: Анализ временных рядов]
[[Категория: Машинное обучение]]
[[Категория: Анализ временных рядов]]

Анализ временных рядов

2021-01-15T03:27:02Z

Cga: /* ARIMA, SARIMA */

Временные ряды {{---}} это актуальный инструмент применимый во множестве решений, от предсказания цен на акции, прогнозов погоды, планирования бизнеса, до распределения ресурсов. Несмотря на то, что прогнозирование может быть сведено к построению контролируемой [[Вариации регрессии|регрессии]], существуют особенноссти, связанные с временным характером наблюдений, которые необходимо учитывать, используя специальные инструменты. 

==Временной ряд==
{{Определение
|definition =
'''Временно́й ряд (или ряд динамики)''' {{---}} собранный в разные моменты времени статистический материал о значении каких-либо параметров (в простейшем случае одного) исследуемого процесса. Каждая единица статистического материала называется измерением или отсчётом. Во временном ряде для каждого отсчёта должно быть указано время измерения или номер измерения по порядку.
}}

Как и большинство других видов анализа, анализ временных рядов предполагает, что данные содержат систематическую составляющую (обычно включающую несколько компонент) и случайный шум (ошибку), который затрудняет обнаружение регулярных компонент. Большинство методов исследования временных рядов включает различные способы фильтрации шума, позволяющие увидеть регулярную составляющую более отчетливо. Большинство регулярных составляющих временных рядов принадлежит к двум классам: они являются либо трендом, либо сезонной составляющей. Тренд представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Сезонная составляющая - это периодически повторяющаяся компонента. Оба эти вида регулярных компонент часто присутствуют в ряде одновременно.

==Валидирование и тестирование модели временного ряда==
Данные упорядочены относительно неслучайных моментов времени, и, значит, в отличие от случайных выборок, могут содержать в себе дополнительную информацию, поэтому нельзя пользоваться обычными способами валидации. Чтобы избежать смещения оценки необходимо удостовериться, что обучающие наборы данных содержат только наблюдения, которые произошли до событий из валидирующиx наборов. 
[[Файл:TimeSeriesCross-validation.png |thumb|left|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 1. кросс-валидация временного ряда]]] 

Возможным способом преодоления данной проблемы будет использование скользящего окна, как описано [https://robjhyndman.com/hyndsight/tscv/ здесь]. Эта процедура называется [[Кросс-валидация|кросс-валидацией]] временного ряда и может быть вкратце описана следующей картинкой (рис. 1), в которой синие точки обозначают тренировочный набор данных, а красные соответствующие валидационные наборы данных. 

Если необходимо предсказать следующие $n$ шагов, то можно заранее кросс-валидировать $1,2,...,n$. Таким образом можно также сравнить качество предсказаний для разных временных горизонтов. 

Определив лучшую модель, можно применить её ко всему обучающему набору и оценить его работу на следующем во времени наборе данных. Оценка работы может быть дана с использованием метода скользящего окна<ref>[https://wiki.loginom.ru/articles/windowing-method.html loginom: Метод скользящего окна]</ref>, который используем при кросс-валидации, но без переподсчёта параметра модели.

==Краткое исследование данных==
[[Файл:ManufactureOfElectricalEquipment.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 2. Набор данных описывающий график производства электрооборудования]]] 

В данной части используется несколько разных моделей для предсказания изменений в промышленном производстве, которые для примера будем оценивать численно, как количество электрооборудования, произведённого в зоне Евро (рис. 2, 3). 
[[Файл:SeasonalPlotMonthluSeasonalPattern.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 3. Сезонные колебания]]]
Набор данных описывает ежемесячное производство электрооборудования (компьютеры электрические и оптические приборы) в зоне евро (17 стран) в период с января 1996 по март 2012 года (см. график ниже). Последние два года будем использовать при тестировании. 

==Модели прогнозирования временных рядов==

Существует 10 моделей прогнозирования, у каждой имеются свои достоинства и недостатки. Ниже, используя каждую модель, предскажем 12 месяцев, соответственно, значение $t+1, t+2, …, t + 12$.
Имеет смысл использовать среднюю абсолютную ошибку для работы оценки модели. 

===Наивное предсказание===
[[Файл:NaiveElectricalEquipmentManufacturing.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 4. Наивная]]] 

Предсказания для каждого горизонта соотвествуют последнему наблюдаемому значению
$Y(t + h|t) = Y(t)$.

Такие предскания предполагают, что стохастическая<ref>[https://ru.wikipedia.org/wiki/Стохастичность Википедия: Стохастичность]</ref> модель генерирует [[Участник:Mk17.ru|случайное блуждание]]. 
[[Файл:SeasonalNaiveElectricalEquipmentManufacturing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 5. Cезонно-наивная]]] 
Расширение наивной модели сезонно-наивная модель (англ. Season Naive, SNAIVE) {{---}} сезонно-наивная модель предполагает, что временной ряд имеет сезонную компоненту, и что период сезонности T. 

Прогнозы SNAIVE {{---}} модели описываются формулой $\dot{Y}(t+h|t) = Y(t+h-T)$.

Получаемые прогнозы следующие T шагов совпадают с предыдущими T шагами.
Эти модели часто используются как ориентировочные модели. Следующий графики показывают предсказания двух моделей для 2007 года (рис. 4, 5). 

===Разделение по сезонам + любая модель===
[[Файл:STL_docompositionOnIndustrialProductionIndexData.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 6. Методы разложения ряда]]] 
Если данные показывают, что они восприимчивы к периодическим (сезонным) изменениям (ежедневно, еженедельно, ежеквартально, ежегодно), то будет полезным разложить исходный временной ряд на сумму трёх компонентов. 

$Y(t) = S(t) + T(t) + R(t)$ 
$S(t)$ {{---}} сезонный компонент. 
$T(t)$ {{---}} компонент трендового цикла. 
$R(t)$ {{---}} остаток. 
Существуют несколько способов для такого разложения, но наиболее простой называется классическим разложением и заключается в том, чтобы оценить тренд $T(t)$ через скользящее среднее, посчитать $S(t)$, как среднее без тренда $Y(t) - T(t)$ для каждого сезона 
Посчитать остаток, как $R(t) = Y(t) - T(t)-S(t)$. 
[[Файл:SeasonallyAdjustedIndustrial.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 7. Сезонные индексы ряда]]]
Классическое разложение можно расширить несколькими способами. 
Расширение позволяет использовать данный метод при:
* непостоянной величине сезона
* посчитать начальные и конечные значения декомпозиции
* избежать лишнего сглаживания

Обзор методов разложений ряда можно увидеть по [https://otexts.com/fpp2/decomposition.html ссылке]. Используется реализация из стандартной библиотеки (рис. 6). 

Одним из способов использования декомпозиции для прогнозирования будет: 
1) Разложить обучающий набор алгоритмом из STL. 
2) Посчитать сезонное отклонение ряда $Y(t) - S(t)$, используя любую модель для прогнозирования сезонно-чувствительного временного ряда. 
3) Добавить прогнозам сезонность последнего временного периода во временном ряду (в нашем случае $S(t)$ для прошлого года). 
[[Файл:SeasonallyAdjustedTimeSeries.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 8. Декомпозиция и наивная модель]]] 
На следующем графике показаны сезонные индексы ряда с учётом сезонности (рис. 7): 

Следующий график показывает предсказания полученные для 2007 года с использованием STL декомпозиции и наивной модели(рис. 8) для сезонно-изменяемого временного ряда: 

Декомпозиция была исплементирована с помощью встроенной в стандартную библиотеку функции.

===Экспоненциальное сглаживание ===
 
[[Файл:ExpSmoothing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 9. данные полученные для 2007 года с использованием модели экспоненциального сглаживания]]]
Экспоненциальное сглаживание<ref>[https://ru.wikipedia.org/wiki/Экспоненциальное_сглаживание Википедия: Экспоненциальное сглаживание]</ref> {{---}} один из наиболее успешных классических методов предсказаний. В своей базовой форме он называется простым экспоненциальный сглаживанием и его прогнозы описываются формулами:
$Ŷ(t+h|t) = ⍺y(t) + ⍺(1-⍺)y(t-1) + ⍺(1-⍺)²y(t-2) + …$ 
'''''with $0<⍺<1.$''''' 
[[Файл:ExpSmoothing+Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 10. данные полученные для 2007 года с использованием модели экспоненциального сглаживания и декомпозиции]]]

Заметно, что прогнозы равны взвешенному среднему от старых наблюдений, и что соответствующие веса убывают экспоненциально по мере хода времени.

Некоторые методы для расширения алгоритма позволяют добавить тренд, его затухание и сезонность.
Экспоненциальное сглаживание состоит из 9 моделей, которые подробно описаны здесь([https://otexts.com/fpp2/taxonomy.html ссылка]).

Следующие графики (рис. 9, 10) описывают прогнозы данных полученные для 2007 года с использованием модели экспоненциального сглаживания (выбраны автоматически), которые подходили исходному и сезонно-чувствительному временному ряду. 

===ARIMA, SARIMA===
 
[[Файл:SARIMA.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11. SARIMA]]]
Также как и экспоненциальное сглаживание, интегрированная модель авторегрессии скользящего среднего (англ. autoregressive integrated moving average, ARIMA) также часто используются для прогноза временных рядов.

{{Определение
|definition =
'''Авторегрессивность''' {{---}} линейная комбинация старых значений.
}}
{{Определение
|definition =
'''Процесс авторегрессии''' {{---}} последовательная зависимость элементов временного ряда, выразается следующим уравнением:
$x(t) = \psi + \phi_1 * x_(t-1) + \phi_2 * x_(t-2) + \phi_3 * x_(t-3) + ... + \epsilon$ 
Где $\psi$ - свободный член(константа) 
$\phi_1, \phi_2, \phi_3, ...$ - параметры авторегрессии
}}
{{Определение
|definition =
'''Скользящее среднее''' {{---}} общее название для семейства функций, значения которых в каждой точке определения равны некоторому среднему значению исходной функции за предыдущий период.
}}

{{Определение
|definition =
'''Процесс скользящего среднего''' {{---}} в процессе скользящего среднего каждый элемент ряда подвержен суммарному воздействию предыдущих ошибок. В общем виде это можно записать следующим образом:
$x_t = \mu + \epsilon_t - \theta_1 * \epsilon_{t-1} - \theta_2 * \epsilon_{t-2} - ...$
}}
[[Файл:SARIMA_Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 12. SARIMA декомпозированная]]]
ARIMA {{---}} комбинация этих двух подходов. Так как эти подходы требуются стационарности временного ряда, может понадобится продифференциировать/проинтегрировать ряд.
То есть рассматировать ряд разностей, а не исходный ряд.

Сезонная интегрированная модель авторегрессии скользящего среднего (англ. season autoregressive integrated moving average, SARIMA) учитывает сезонность, добавляя линейную комбинацию прошлых сезонных значений и/или прошлых ошибок прогноза.
Для полного ввода в ARIMA, SARIMA читайте по [https://otexts.com/fpp2/arima.html ссылке].

Данные графики показывают предсказания полученные для 2007 года с использованием модели SARIMA (рис. 11,12).

===Garch===
 
[[Файл:GARCH.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 13. ARMA]]] 

В предыдущих моделях считалось, что слагаемое ошибки в стохастическом процессе генерации временного ряда имело одинаковую дисперсию.

В GARСH-модели (рис. 13) предполагается, что слагаемое ошибки следуют авторегрессионному скользящему среднему (англ. AutoRegressive Moving Average, ARMA), соответственно слагаемое меняется по ходу времени. Это особенно полезно при моделировании финансовых временных рядов, так как диапазон изменений тоже постоянно меняется.

Обычно ARMA используется и для учёта среднего, более подробное введение в Garsh можно найти [https://cran.r-project.org/web/packages/rugarch/vignettes/Introduction_to_the_rugarch_package.pdf здесь] 

===Динамические линейные модели===
[[Файл:DLM+Decomposition.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 14. DLM]]] 
Динамические линейные модели представляют другой класс моделей предсказания временных рядов(рис. 14).
Идея заключается в том, что в каждый момент времени $t$ эти модели соответствуют линейной модели, но коэффициент регрессии постоянно меняется. Пример динамической линейной модели ниже: 
$y(t) = ⍺(t) + tβ(t) + w(t)$ 
$⍺(t) = ⍺(t-1) + m(t)$ 
$β(t) = β(t-1) + r(t)$ 
$w(t)~N(0,W) , m(t)~N(0,M) , r(t)~N(0,R)$ 

В предыдущей модели коэффициенты $a(t)$ и $b(t)$ следуют случайному блужданию.

Динамические линейные модели могут быть построены в рамках Байесовской системы. Тем не менее и этот метод можно улучшить, подробности [https://cran.r-project.org/web/packages/dlm/vignettes/dlm.pdf здесь]. 

===TBATS===
 
[[Файл:TBATS_Electrical.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 15. DLM]]]
TBATS {{---}} это модели, которые основаны на экспоненциальном сглаживании(рис. 15). Главной особенностью TBATS является возможность взаимодействия с несколькими сезонностями. Моделируя каждую функцию сезонности отдельным тригонометрическим отображением построенным на рядах Фурье. Классическим примером комплексной сезонности будет отображение ежедневных объемов продаж, которые имеет, как еженедельные колебания, так и ежегодные. 

Больше информации можно прочиать [https://robjhyndman.com/papers/ComplexSeasonality.pdf тут]. 

===Prophet===
 
Ещё одна модель, способная взаимодействовать с несколькими сезонностями.
Это ПО с открытым исходным кодом от Фейсбука (рис. 16). 
[[Файл:Prophet.png |right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 16. Prophet]]]

Prophet считает, что временной ряд может быть расложен следующим образом: 
$y(t) = g(t) + s(t) + h(t) + ε(t)$ 
$g(t)$ {{---}} тренд. 
$s(t)$ {{---}} сезонность. 
$h(t)$ {{---}} каникулы. 
$ε(t)$ {{---}} ошибки. 

Подгонка модели представляет собой упражнение по подгонке кривой, поэтому она явно не учитывает структуру временной зависимости в данных. Это также позволяет проводить наблюдения с нерегулярным интервалом. 
Есть два варианта временных рядов тренда: модель насыщающего роста и кусочно-линейная модель. Модель многопериодной сезонности основана на рядах Фурье<ref>[[Определение ряда Фурье]]</ref>. Эффект известных и заказных выходных дней может быть легко включен в модель. 
Модель Prophet вставлена в байесовскую структуру и позволяет сделать полный апостериорный вывод, чтобы включить неопределенность параметров модели в неопределенность прогноза. 

===NNETAR===
 
Модель авторегрессии нейронной сети (англ. Neural NETwork AutoRegression, NNETAR) представляет собой полностью связанную [https://neerc.ifmo.ru/wiki/index.php?title=Нейронные_сети,_перцептрон нейронную сеть].

Модель NNETAR принимает на вход последние элементы последовательности до момента времени $t$ и выводит прогнозируемое значение в момент времени $t + 1$. Для выполнения многоэтапных прогнозов сеть применяется итеративно.

===LSTM===
 
Модели [[:Долгая_краткосрочная_память|cети долго-краткосрочной памяти]] (англ. Long short-term memory, LSTM) могут использоваться для прогнозирования временных рядов (а также других рекуррентных нейронных сетей). 
Состояние сети LSTM представлено через вектор пространства состояний. Этот метод позволяет отслеживать зависимости новых наблюдений от прошлых (даже очень далеких). 
Вообще говоря, LSTM представляют собой сложные модели, и они редко используются для прогнозирования одного временного ряда, поскольку для их оценки требуется большой объем данных. Однако они обычно используются, когда необходимы прогнозы для большого количества временных рядов ([https://arxiv.org/abs/1704.04110 как показано здесь]).

==Оценка==
[[Файл:Evaluation.png |right|600px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 17. MAE с перекрестной проверкой для каждой модели]]]
Выполнен выбор модели с помощью процедуры перекрестной проверки, описанной ранее. Не рассчитывая его для динамических линейных моделей и моделей LSTM из-за их высокой вычислительной стоимости и низкой производительности. 
На следующем рисунке показана [[средняя абсолютная ошибка]] (англ. Mean Absolute Error, MAE) с перекрестной проверкой для каждой модели и для каждого временного горизонта (рис. 17):

Модель NNETAR по сезонно скорректированным данным была лучшей моделью для данной задачи, поскольку она соответствовала самому низкому значению MAE, прошедшему перекрестную проверку. 
Чтобы получить объективную оценку наилучшей производительности модели, вычислим MAE на тестовом наборе(рис. 18), получив оценку, равную 5,24. На следующем рисунке можно увидеть MAE, оцененную на тестовой выборке для каждого временного горизонта. 

[[Файл:Cross-validated MAE.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 18. MAE, тестовый набор]]]
 
===Как еще больше повысить производительность===
Другие методы повышения производительности моделей:
*Использование разных моделей для разных временных горизонтов
*Объединение нескольких прогнозов (например, с учетом среднего прогноза)
*'''Агрегация начальных данных'''
 
Последний метод можно резюмировать следующим образом:
*Разложите исходный временной ряд (например, используя STL)
*Создайте набор похожих временных рядов путем случайного перемешивания фрагментов оставшейся компоненты.
*Подбирайте модель для каждого временного ряда
*Средние прогнозы каждой модели

==Заключительные замечания==
Большинство ранее описанных моделей позволяют легко включать изменяющиеся во времени предикторы. Они могут быть извлечены из одного и того же временного ряда или могут соответствовать внешним предикторам (например, временному ряду другого индекса). В последнем случае мы должны обратить внимание на то, чтобы не использовать информацию из будущего, которая могла бы быть удовлетворена путем прогнозирования предикторов или использования версий c ошибками. 

Обратите внимание, что в данном конспекте рассматривается случай, когда у нас есть один временной ряд для прогнозирования. Когда у нас много временных рядов, может быть предпочтительнее глобальный подход, поскольку он позволяет нам оценивать более сложную и потенциально более точную модель. Чтобы ознакомиться с глобальным подходом, щелкните [https://arxiv.org/abs/1704.04110 здесь].

==См. Также==
* [[Кластеризация]]
* [[Уменьшение размерности]]
* [[Рекомендательные системы]]
* [[Анализ социальных сетей]]
* [[Графовые нейронные сети]]
* [[Компьютерное зрение]]

== Примечания ==
<references/>

==Источники Информации==
* Филатов, А. В. Заметки профайлера / А. В. Филатов. -Москва: Издательские решения, 2019. -522.
* [http://www.machinelearning.ru/wiki/index.php?title=Временной_ряд machinelearning.ru]
*[https://ru.wikipedia.org/wiki/Временной_ряд Википедия: Временной ряд]
*[http://statsoft.ru/home/textbook/modules/sttimser.html StatSoft: Анализ временных рядов]
[[Категория: Машинное обучение]]
[[Категория: Анализ временных рядов]]

Анализ временных рядов

2021-01-15T03:12:11Z

Cga: /* Временной ряд */

Временные ряды {{---}} это актуальный инструмент применимый во множестве решений, от предсказания цен на акции, прогнозов погоды, планирования бизнеса, до распределения ресурсов. Несмотря на то, что прогнозирование может быть сведено к построению контролируемой [[Вариации регрессии|регрессии]], существуют особенноссти, связанные с временным характером наблюдений, которые необходимо учитывать, используя специальные инструменты. 

==Временной ряд==
{{Определение
|definition =
'''Временно́й ряд (или ряд динамики)''' {{---}} собранный в разные моменты времени статистический материал о значении каких-либо параметров (в простейшем случае одного) исследуемого процесса. Каждая единица статистического материала называется измерением или отсчётом. Во временном ряде для каждого отсчёта должно быть указано время измерения или номер измерения по порядку.
}}

Как и большинство других видов анализа, анализ временных рядов предполагает, что данные содержат систематическую составляющую (обычно включающую несколько компонент) и случайный шум (ошибку), который затрудняет обнаружение регулярных компонент. Большинство методов исследования временных рядов включает различные способы фильтрации шума, позволяющие увидеть регулярную составляющую более отчетливо. Большинство регулярных составляющих временных рядов принадлежит к двум классам: они являются либо трендом, либо сезонной составляющей. Тренд представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Сезонная составляющая - это периодически повторяющаяся компонента. Оба эти вида регулярных компонент часто присутствуют в ряде одновременно.

==Валидирование и тестирование модели временного ряда==
Данные упорядочены относительно неслучайных моментов времени, и, значит, в отличие от случайных выборок, могут содержать в себе дополнительную информацию, поэтому нельзя пользоваться обычными способами валидации. Чтобы избежать смещения оценки необходимо удостовериться, что обучающие наборы данных содержат только наблюдения, которые произошли до событий из валидирующиx наборов. 
[[Файл:TimeSeriesCross-validation.png |thumb|left|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 1. кросс-валидация временного ряда]]] 

Возможным способом преодоления данной проблемы будет использование скользящего окна, как описано [https://robjhyndman.com/hyndsight/tscv/ здесь]. Эта процедура называется [[Кросс-валидация|кросс-валидацией]] временного ряда и может быть вкратце описана следующей картинкой (рис. 1), в которой синие точки обозначают тренировочный набор данных, а красные соответствующие валидационные наборы данных. 

Если необходимо предсказать следующие $n$ шагов, то можно заранее кросс-валидировать $1,2,...,n$. Таким образом можно также сравнить качество предсказаний для разных временных горизонтов. 

Определив лучшую модель, можно применить её ко всему обучающему набору и оценить его работу на следующем во времени наборе данных. Оценка работы может быть дана с использованием метода скользящего окна<ref>[https://wiki.loginom.ru/articles/windowing-method.html loginom: Метод скользящего окна]</ref>, который используем при кросс-валидации, но без переподсчёта параметра модели.

==Краткое исследование данных==
[[Файл:ManufactureOfElectricalEquipment.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 2. Набор данных описывающий график производства электрооборудования]]] 

В данной части используется несколько разных моделей для предсказания изменений в промышленном производстве, которые для примера будем оценивать численно, как количество электрооборудования, произведённого в зоне Евро (рис. 2, 3). 
[[Файл:SeasonalPlotMonthluSeasonalPattern.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 3. Сезонные колебания]]]
Набор данных описывает ежемесячное производство электрооборудования (компьютеры электрические и оптические приборы) в зоне евро (17 стран) в период с января 1996 по март 2012 года (см. график ниже). Последние два года будем использовать при тестировании. 

==Модели прогнозирования временных рядов==

Существует 10 моделей прогнозирования, у каждой имеются свои достоинства и недостатки. Ниже, используя каждую модель, предскажем 12 месяцев, соответственно, значение $t+1, t+2, …, t + 12$.
Имеет смысл использовать среднюю абсолютную ошибку для работы оценки модели. 

===Наивное предсказание===
[[Файл:NaiveElectricalEquipmentManufacturing.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 4. Наивная]]] 

Предсказания для каждого горизонта соотвествуют последнему наблюдаемому значению
$Y(t + h|t) = Y(t)$.

Такие предскания предполагают, что стохастическая<ref>[https://ru.wikipedia.org/wiki/Стохастичность Википедия: Стохастичность]</ref> модель генерирует [[Участник:Mk17.ru|случайное блуждание]]. 
[[Файл:SeasonalNaiveElectricalEquipmentManufacturing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 5. Cезонно-наивная]]] 
Расширение наивной модели сезонно-наивная модель (англ. Season Naive, SNAIVE) {{---}} сезонно-наивная модель предполагает, что временной ряд имеет сезонную компоненту, и что период сезонности T. 

Прогнозы SNAIVE {{---}} модели описываются формулой $\dot{Y}(t+h|t) = Y(t+h-T)$.

Получаемые прогнозы следующие T шагов совпадают с предыдущими T шагами.
Эти модели часто используются как ориентировочные модели. Следующий графики показывают предсказания двух моделей для 2007 года (рис. 4, 5). 

===Разделение по сезонам + любая модель===
[[Файл:STL_docompositionOnIndustrialProductionIndexData.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 6. Методы разложения ряда]]] 
Если данные показывают, что они восприимчивы к периодическим (сезонным) изменениям (ежедневно, еженедельно, ежеквартально, ежегодно), то будет полезным разложить исходный временной ряд на сумму трёх компонентов. 

$Y(t) = S(t) + T(t) + R(t)$ 
$S(t)$ {{---}} сезонный компонент. 
$T(t)$ {{---}} компонент трендового цикла. 
$R(t)$ {{---}} остаток. 
Существуют несколько способов для такого разложения, но наиболее простой называется классическим разложением и заключается в том, чтобы оценить тренд $T(t)$ через скользящее среднее, посчитать $S(t)$, как среднее без тренда $Y(t) - T(t)$ для каждого сезона 
Посчитать остаток, как $R(t) = Y(t) - T(t)-S(t)$. 
[[Файл:SeasonallyAdjustedIndustrial.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 7. Сезонные индексы ряда]]]
Классическое разложение можно расширить несколькими способами. 
Расширение позволяет использовать данный метод при:
* непостоянной величине сезона
* посчитать начальные и конечные значения декомпозиции
* избежать лишнего сглаживания

Обзор методов разложений ряда можно увидеть по [https://otexts.com/fpp2/decomposition.html ссылке]. Используется реализация из стандартной библиотеки (рис. 6). 

Одним из способов использования декомпозиции для прогнозирования будет: 
1) Разложить обучающий набор алгоритмом из STL. 
2) Посчитать сезонное отклонение ряда $Y(t) - S(t)$, используя любую модель для прогнозирования сезонно-чувствительного временного ряда. 
3) Добавить прогнозам сезонность последнего временного периода во временном ряду (в нашем случае $S(t)$ для прошлого года). 
[[Файл:SeasonallyAdjustedTimeSeries.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 8. Декомпозиция и наивная модель]]] 
На следующем графике показаны сезонные индексы ряда с учётом сезонности (рис. 7): 

Следующий график показывает предсказания полученные для 2007 года с использованием STL декомпозиции и наивной модели(рис. 8) для сезонно-изменяемого временного ряда: 

Декомпозиция была исплементирована с помощью встроенной в стандартную библиотеку функции.

===Экспоненциальное сглаживание ===
 
[[Файл:ExpSmoothing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 9. данные полученные для 2007 года с использованием модели экспоненциального сглаживания]]]
Экспоненциальное сглаживание<ref>[https://ru.wikipedia.org/wiki/Экспоненциальное_сглаживание Википедия: Экспоненциальное сглаживание]</ref> {{---}} один из наиболее успешных классических методов предсказаний. В своей базовой форме он называется простым экспоненциальный сглаживанием и его прогнозы описываются формулами:
$Ŷ(t+h|t) = ⍺y(t) + ⍺(1-⍺)y(t-1) + ⍺(1-⍺)²y(t-2) + …$ 
'''''with $0<⍺<1.$''''' 
[[Файл:ExpSmoothing+Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 10. данные полученные для 2007 года с использованием модели экспоненциального сглаживания и декомпозиции]]]

Заметно, что прогнозы равны взвешенному среднему от старых наблюдений, и что соответствующие веса убывают экспоненциально по мере хода времени.

Некоторые методы для расширения алгоритма позволяют добавить тренд, его затухание и сезонность.
Экспоненциальное сглаживание состоит из 9 моделей, которые подробно описаны здесь([https://otexts.com/fpp2/taxonomy.html ссылка]).

Следующие графики (рис. 9, 10) описывают прогнозы данных полученные для 2007 года с использованием модели экспоненциального сглаживания (выбраны автоматически), которые подходили исходному и сезонно-чувствительному временному ряду. 

===ARIMA, SARIMA===
 
[[Файл:SARIMA.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11. SARIMA]]]
Также как и экспоненциальное сглаживание, интегрированная модель авторегрессии скользящего среднего (англ. autoregressive integrated moving average, ARIMA) также часто используются для прогноза временных рядов.

{{Определение
|definition =
'''Саморегрессивность''' {{---}} линейная комбинация старых значений.
}}
{{Определение
|definition =
'''Скользящее среднее''' {{---}} общее название для семейства функций, значения которых в каждой точке определения равны некоторому среднему значению исходной функции за предыдущий период.
}}
[[Файл:SARIMA_Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 12. SARIMA декомпозированная]]]
ARIMA {{---}} комбинация этих двух подходов. Так как эти подходы требуются стационарности временного ряда, может понадобится продифференциировать/проинтегрировать ряд
То есть рассматировать ряд разностей, а не исходный ряд.

Сезонная интегрированная модель авторегрессии скользящего среднего (англ. season autoregressive integrated moving average, SARIMA) учитывает сезонность, добавляя линейную комбинацию прошлых сезонных значений и/или прошлых ошибок прогноза.
Для полного ввода в ARIMA, SARIMA читайте по [https://otexts.com/fpp2/arima.html ссылке].

Данные графики показывают предсказания полученные для 2007 года с использованием модели SARIMA (рис. 11,12).

===Garch===
 
[[Файл:GARCH.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 13. ARMA]]] 

В предыдущих моделях считалось, что слагаемое ошибки в стохастическом процессе генерации временного ряда имело одинаковую дисперсию.

В GARСH-модели (рис. 13) предполагается, что слагаемое ошибки следуют авторегрессионному скользящему среднему (англ. AutoRegressive Moving Average, ARMA), соответственно слагаемое меняется по ходу времени. Это особенно полезно при моделировании финансовых временных рядов, так как диапазон изменений тоже постоянно меняется.

Обычно ARMA используется и для учёта среднего, более подробное введение в Garsh можно найти [https://cran.r-project.org/web/packages/rugarch/vignettes/Introduction_to_the_rugarch_package.pdf здесь] 

===Динамические линейные модели===
[[Файл:DLM+Decomposition.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 14. DLM]]] 
Динамические линейные модели представляют другой класс моделей предсказания временных рядов(рис. 14).
Идея заключается в том, что в каждый момент времени $t$ эти модели соответствуют линейной модели, но коэффициент регрессии постоянно меняется. Пример динамической линейной модели ниже: 
$y(t) = ⍺(t) + tβ(t) + w(t)$ 
$⍺(t) = ⍺(t-1) + m(t)$ 
$β(t) = β(t-1) + r(t)$ 
$w(t)~N(0,W) , m(t)~N(0,M) , r(t)~N(0,R)$ 

В предыдущей модели коэффициенты $a(t)$ и $b(t)$ следуют случайному блужданию.

Динамические линейные модели могут быть построены в рамках Байесовской системы. Тем не менее и этот метод можно улучшить, подробности [https://cran.r-project.org/web/packages/dlm/vignettes/dlm.pdf здесь]. 

===TBATS===
 
[[Файл:TBATS_Electrical.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 15. DLM]]]
TBATS {{---}} это модели, которые основаны на экспоненциальном сглаживании(рис. 15). Главной особенностью TBATS является возможность взаимодействия с несколькими сезонностями. Моделируя каждую функцию сезонности отдельным тригонометрическим отображением построенным на рядах Фурье. Классическим примером комплексной сезонности будет отображение ежедневных объемов продаж, которые имеет, как еженедельные колебания, так и ежегодные. 

Больше информации можно прочиать [https://robjhyndman.com/papers/ComplexSeasonality.pdf тут]. 

===Prophet===
 
Ещё одна модель, способная взаимодействовать с несколькими сезонностями.
Это ПО с открытым исходным кодом от Фейсбука (рис. 16). 
[[Файл:Prophet.png |right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 16. Prophet]]]

Prophet считает, что временной ряд может быть расложен следующим образом: 
$y(t) = g(t) + s(t) + h(t) + ε(t)$ 
$g(t)$ {{---}} тренд. 
$s(t)$ {{---}} сезонность. 
$h(t)$ {{---}} каникулы. 
$ε(t)$ {{---}} ошибки. 

Подгонка модели представляет собой упражнение по подгонке кривой, поэтому она явно не учитывает структуру временной зависимости в данных. Это также позволяет проводить наблюдения с нерегулярным интервалом. 
Есть два варианта временных рядов тренда: модель насыщающего роста и кусочно-линейная модель. Модель многопериодной сезонности основана на рядах Фурье<ref>[[Определение ряда Фурье]]</ref>. Эффект известных и заказных выходных дней может быть легко включен в модель. 
Модель Prophet вставлена в байесовскую структуру и позволяет сделать полный апостериорный вывод, чтобы включить неопределенность параметров модели в неопределенность прогноза. 

===NNETAR===
 
Модель авторегрессии нейронной сети (англ. Neural NETwork AutoRegression, NNETAR) представляет собой полностью связанную [https://neerc.ifmo.ru/wiki/index.php?title=Нейронные_сети,_перцептрон нейронную сеть].

Модель NNETAR принимает на вход последние элементы последовательности до момента времени $t$ и выводит прогнозируемое значение в момент времени $t + 1$. Для выполнения многоэтапных прогнозов сеть применяется итеративно.

===LSTM===
 
Модели [[:Долгая_краткосрочная_память|cети долго-краткосрочной памяти]] (англ. Long short-term memory, LSTM) могут использоваться для прогнозирования временных рядов (а также других рекуррентных нейронных сетей). 
Состояние сети LSTM представлено через вектор пространства состояний. Этот метод позволяет отслеживать зависимости новых наблюдений от прошлых (даже очень далеких). 
Вообще говоря, LSTM представляют собой сложные модели, и они редко используются для прогнозирования одного временного ряда, поскольку для их оценки требуется большой объем данных. Однако они обычно используются, когда необходимы прогнозы для большого количества временных рядов ([https://arxiv.org/abs/1704.04110 как показано здесь]).

==Оценка==
[[Файл:Evaluation.png |right|600px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 17. MAE с перекрестной проверкой для каждой модели]]]
Выполнен выбор модели с помощью процедуры перекрестной проверки, описанной ранее. Не рассчитывая его для динамических линейных моделей и моделей LSTM из-за их высокой вычислительной стоимости и низкой производительности. 
На следующем рисунке показана [[средняя абсолютная ошибка]] (англ. Mean Absolute Error, MAE) с перекрестной проверкой для каждой модели и для каждого временного горизонта (рис. 17):

Модель NNETAR по сезонно скорректированным данным была лучшей моделью для данной задачи, поскольку она соответствовала самому низкому значению MAE, прошедшему перекрестную проверку. 
Чтобы получить объективную оценку наилучшей производительности модели, вычислим MAE на тестовом наборе(рис. 18), получив оценку, равную 5,24. На следующем рисунке можно увидеть MAE, оцененную на тестовой выборке для каждого временного горизонта. 

[[Файл:Cross-validated MAE.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 18. MAE, тестовый набор]]]
 
===Как еще больше повысить производительность===
Другие методы повышения производительности моделей:
*Использование разных моделей для разных временных горизонтов
*Объединение нескольких прогнозов (например, с учетом среднего прогноза)
*'''Агрегация начальных данных'''
 
Последний метод можно резюмировать следующим образом:
*Разложите исходный временной ряд (например, используя STL)
*Создайте набор похожих временных рядов путем случайного перемешивания фрагментов оставшейся компоненты.
*Подбирайте модель для каждого временного ряда
*Средние прогнозы каждой модели

==Заключительные замечания==
Большинство ранее описанных моделей позволяют легко включать изменяющиеся во времени предикторы. Они могут быть извлечены из одного и того же временного ряда или могут соответствовать внешним предикторам (например, временному ряду другого индекса). В последнем случае мы должны обратить внимание на то, чтобы не использовать информацию из будущего, которая могла бы быть удовлетворена путем прогнозирования предикторов или использования версий c ошибками. 

Обратите внимание, что в данном конспекте рассматривается случай, когда у нас есть один временной ряд для прогнозирования. Когда у нас много временных рядов, может быть предпочтительнее глобальный подход, поскольку он позволяет нам оценивать более сложную и потенциально более точную модель. Чтобы ознакомиться с глобальным подходом, щелкните [https://arxiv.org/abs/1704.04110 здесь].

==См. Также==
* [[Кластеризация]]
* [[Уменьшение размерности]]
* [[Рекомендательные системы]]
* [[Анализ социальных сетей]]
* [[Графовые нейронные сети]]
* [[Компьютерное зрение]]

== Примечания ==
<references/>

==Источники Информации==
* Филатов, А. В. Заметки профайлера / А. В. Филатов. -Москва: Издательские решения, 2019. -522.
* [http://www.machinelearning.ru/wiki/index.php?title=Временной_ряд machinelearning.ru]
*[https://ru.wikipedia.org/wiki/Временной_ряд Википедия: Временной ряд]
*[http://statsoft.ru/home/textbook/modules/sttimser.html StatSoft: Анализ временных рядов]
[[Категория: Машинное обучение]]
[[Категория: Анализ временных рядов]]

Анализ временных рядов

2021-01-15T03:10:27Z

Cga: /* Источники Информации */

Временные ряды {{---}} это актуальный инструмент применимый во множестве решений, от предсказания цен на акции, прогнозов погоды, планирования бизнеса, до распределения ресурсов. Несмотря на то, что прогнозирование может быть сведено к построению контролируемой [[Вариации регрессии|регрессии]], существуют особенноссти, связанные с временным характером наблюдений, которые необходимо учитывать, используя специальные инструменты. 

==Временной ряд==
{{Определение
|definition =
'''Временно́й ряд (или ряд динамики)''' {{---}} собранный в разные моменты времени статистический материал о значении каких-либо параметров (в простейшем случае одного) исследуемого процесса. Каждая единица статистического материала называется измерением или отсчётом. Во временном ряде для каждого отсчёта должно быть указано время измерения или номер измерения по порядку.
}}

==Валидирование и тестирование модели временного ряда==
Данные упорядочены относительно неслучайных моментов времени, и, значит, в отличие от случайных выборок, могут содержать в себе дополнительную информацию, поэтому нельзя пользоваться обычными способами валидации. Чтобы избежать смещения оценки необходимо удостовериться, что обучающие наборы данных содержат только наблюдения, которые произошли до событий из валидирующиx наборов. 
[[Файл:TimeSeriesCross-validation.png |thumb|left|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 1. кросс-валидация временного ряда]]] 

Возможным способом преодоления данной проблемы будет использование скользящего окна, как описано [https://robjhyndman.com/hyndsight/tscv/ здесь]. Эта процедура называется [[Кросс-валидация|кросс-валидацией]] временного ряда и может быть вкратце описана следующей картинкой (рис. 1), в которой синие точки обозначают тренировочный набор данных, а красные соответствующие валидационные наборы данных. 

Если необходимо предсказать следующие $n$ шагов, то можно заранее кросс-валидировать $1,2,...,n$. Таким образом можно также сравнить качество предсказаний для разных временных горизонтов. 

Определив лучшую модель, можно применить её ко всему обучающему набору и оценить его работу на следующем во времени наборе данных. Оценка работы может быть дана с использованием метода скользящего окна<ref>[https://wiki.loginom.ru/articles/windowing-method.html loginom: Метод скользящего окна]</ref>, который используем при кросс-валидации, но без переподсчёта параметра модели.

==Краткое исследование данных==
[[Файл:ManufactureOfElectricalEquipment.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 2. Набор данных описывающий график производства электрооборудования]]] 

В данной части используется несколько разных моделей для предсказания изменений в промышленном производстве, которые для примера будем оценивать численно, как количество электрооборудования, произведённого в зоне Евро (рис. 2, 3). 
[[Файл:SeasonalPlotMonthluSeasonalPattern.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 3. Сезонные колебания]]]
Набор данных описывает ежемесячное производство электрооборудования (компьютеры электрические и оптические приборы) в зоне евро (17 стран) в период с января 1996 по март 2012 года (см. график ниже). Последние два года будем использовать при тестировании. 

==Модели прогнозирования временных рядов==

Существует 10 моделей прогнозирования, у каждой имеются свои достоинства и недостатки. Ниже, используя каждую модель, предскажем 12 месяцев, соответственно, значение $t+1, t+2, …, t + 12$.
Имеет смысл использовать среднюю абсолютную ошибку для работы оценки модели. 

===Наивное предсказание===
[[Файл:NaiveElectricalEquipmentManufacturing.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 4. Наивная]]] 

Предсказания для каждого горизонта соотвествуют последнему наблюдаемому значению
$Y(t + h|t) = Y(t)$.

Такие предскания предполагают, что стохастическая<ref>[https://ru.wikipedia.org/wiki/Стохастичность Википедия: Стохастичность]</ref> модель генерирует [[Участник:Mk17.ru|случайное блуждание]]. 
[[Файл:SeasonalNaiveElectricalEquipmentManufacturing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 5. Cезонно-наивная]]] 
Расширение наивной модели сезонно-наивная модель (англ. Season Naive, SNAIVE) {{---}} сезонно-наивная модель предполагает, что временной ряд имеет сезонную компоненту, и что период сезонности T. 

Прогнозы SNAIVE {{---}} модели описываются формулой $\dot{Y}(t+h|t) = Y(t+h-T)$.

Получаемые прогнозы следующие T шагов совпадают с предыдущими T шагами.
Эти модели часто используются как ориентировочные модели. Следующий графики показывают предсказания двух моделей для 2007 года (рис. 4, 5). 

===Разделение по сезонам + любая модель===
[[Файл:STL_docompositionOnIndustrialProductionIndexData.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 6. Методы разложения ряда]]] 
Если данные показывают, что они восприимчивы к периодическим (сезонным) изменениям (ежедневно, еженедельно, ежеквартально, ежегодно), то будет полезным разложить исходный временной ряд на сумму трёх компонентов. 

$Y(t) = S(t) + T(t) + R(t)$ 
$S(t)$ {{---}} сезонный компонент. 
$T(t)$ {{---}} компонент трендового цикла. 
$R(t)$ {{---}} остаток. 
Существуют несколько способов для такого разложения, но наиболее простой называется классическим разложением и заключается в том, чтобы оценить тренд $T(t)$ через скользящее среднее, посчитать $S(t)$, как среднее без тренда $Y(t) - T(t)$ для каждого сезона 
Посчитать остаток, как $R(t) = Y(t) - T(t)-S(t)$. 
[[Файл:SeasonallyAdjustedIndustrial.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 7. Сезонные индексы ряда]]]
Классическое разложение можно расширить несколькими способами. 
Расширение позволяет использовать данный метод при:
* непостоянной величине сезона
* посчитать начальные и конечные значения декомпозиции
* избежать лишнего сглаживания

Обзор методов разложений ряда можно увидеть по [https://otexts.com/fpp2/decomposition.html ссылке]. Используется реализация из стандартной библиотеки (рис. 6). 

Одним из способов использования декомпозиции для прогнозирования будет: 
1) Разложить обучающий набор алгоритмом из STL. 
2) Посчитать сезонное отклонение ряда $Y(t) - S(t)$, используя любую модель для прогнозирования сезонно-чувствительного временного ряда. 
3) Добавить прогнозам сезонность последнего временного периода во временном ряду (в нашем случае $S(t)$ для прошлого года). 
[[Файл:SeasonallyAdjustedTimeSeries.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 8. Декомпозиция и наивная модель]]] 
На следующем графике показаны сезонные индексы ряда с учётом сезонности (рис. 7): 

Следующий график показывает предсказания полученные для 2007 года с использованием STL декомпозиции и наивной модели(рис. 8) для сезонно-изменяемого временного ряда: 

Декомпозиция была исплементирована с помощью встроенной в стандартную библиотеку функции.

===Экспоненциальное сглаживание ===
 
[[Файл:ExpSmoothing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 9. данные полученные для 2007 года с использованием модели экспоненциального сглаживания]]]
Экспоненциальное сглаживание<ref>[https://ru.wikipedia.org/wiki/Экспоненциальное_сглаживание Википедия: Экспоненциальное сглаживание]</ref> {{---}} один из наиболее успешных классических методов предсказаний. В своей базовой форме он называется простым экспоненциальный сглаживанием и его прогнозы описываются формулами:
$Ŷ(t+h|t) = ⍺y(t) + ⍺(1-⍺)y(t-1) + ⍺(1-⍺)²y(t-2) + …$ 
'''''with $0<⍺<1.$''''' 
[[Файл:ExpSmoothing+Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 10. данные полученные для 2007 года с использованием модели экспоненциального сглаживания и декомпозиции]]]

Заметно, что прогнозы равны взвешенному среднему от старых наблюдений, и что соответствующие веса убывают экспоненциально по мере хода времени.

Некоторые методы для расширения алгоритма позволяют добавить тренд, его затухание и сезонность.
Экспоненциальное сглаживание состоит из 9 моделей, которые подробно описаны здесь([https://otexts.com/fpp2/taxonomy.html ссылка]).

Следующие графики (рис. 9, 10) описывают прогнозы данных полученные для 2007 года с использованием модели экспоненциального сглаживания (выбраны автоматически), которые подходили исходному и сезонно-чувствительному временному ряду. 

===ARIMA, SARIMA===
 
[[Файл:SARIMA.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11. SARIMA]]]
Также как и экспоненциальное сглаживание, интегрированная модель авторегрессии скользящего среднего (англ. autoregressive integrated moving average, ARIMA) также часто используются для прогноза временных рядов.

{{Определение
|definition =
'''Саморегрессивность''' {{---}} линейная комбинация старых значений.
}}
{{Определение
|definition =
'''Скользящее среднее''' {{---}} общее название для семейства функций, значения которых в каждой точке определения равны некоторому среднему значению исходной функции за предыдущий период.
}}
[[Файл:SARIMA_Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 12. SARIMA декомпозированная]]]
ARIMA {{---}} комбинация этих двух подходов. Так как эти подходы требуются стационарности временного ряда, может понадобится продифференциировать/проинтегрировать ряд
То есть рассматировать ряд разностей, а не исходный ряд.

Сезонная интегрированная модель авторегрессии скользящего среднего (англ. season autoregressive integrated moving average, SARIMA) учитывает сезонность, добавляя линейную комбинацию прошлых сезонных значений и/или прошлых ошибок прогноза.
Для полного ввода в ARIMA, SARIMA читайте по [https://otexts.com/fpp2/arima.html ссылке].

Данные графики показывают предсказания полученные для 2007 года с использованием модели SARIMA (рис. 11,12).

===Garch===
 
[[Файл:GARCH.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 13. ARMA]]] 

В предыдущих моделях считалось, что слагаемое ошибки в стохастическом процессе генерации временного ряда имело одинаковую дисперсию.

В GARСH-модели (рис. 13) предполагается, что слагаемое ошибки следуют авторегрессионному скользящему среднему (англ. AutoRegressive Moving Average, ARMA), соответственно слагаемое меняется по ходу времени. Это особенно полезно при моделировании финансовых временных рядов, так как диапазон изменений тоже постоянно меняется.

Обычно ARMA используется и для учёта среднего, более подробное введение в Garsh можно найти [https://cran.r-project.org/web/packages/rugarch/vignettes/Introduction_to_the_rugarch_package.pdf здесь] 

===Динамические линейные модели===
[[Файл:DLM+Decomposition.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 14. DLM]]] 
Динамические линейные модели представляют другой класс моделей предсказания временных рядов(рис. 14).
Идея заключается в том, что в каждый момент времени $t$ эти модели соответствуют линейной модели, но коэффициент регрессии постоянно меняется. Пример динамической линейной модели ниже: 
$y(t) = ⍺(t) + tβ(t) + w(t)$ 
$⍺(t) = ⍺(t-1) + m(t)$ 
$β(t) = β(t-1) + r(t)$ 
$w(t)~N(0,W) , m(t)~N(0,M) , r(t)~N(0,R)$ 

В предыдущей модели коэффициенты $a(t)$ и $b(t)$ следуют случайному блужданию.

Динамические линейные модели могут быть построены в рамках Байесовской системы. Тем не менее и этот метод можно улучшить, подробности [https://cran.r-project.org/web/packages/dlm/vignettes/dlm.pdf здесь]. 

===TBATS===
 
[[Файл:TBATS_Electrical.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 15. DLM]]]
TBATS {{---}} это модели, которые основаны на экспоненциальном сглаживании(рис. 15). Главной особенностью TBATS является возможность взаимодействия с несколькими сезонностями. Моделируя каждую функцию сезонности отдельным тригонометрическим отображением построенным на рядах Фурье. Классическим примером комплексной сезонности будет отображение ежедневных объемов продаж, которые имеет, как еженедельные колебания, так и ежегодные. 

Больше информации можно прочиать [https://robjhyndman.com/papers/ComplexSeasonality.pdf тут]. 

===Prophet===
 
Ещё одна модель, способная взаимодействовать с несколькими сезонностями.
Это ПО с открытым исходным кодом от Фейсбука (рис. 16). 
[[Файл:Prophet.png |right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 16. Prophet]]]

Prophet считает, что временной ряд может быть расложен следующим образом: 
$y(t) = g(t) + s(t) + h(t) + ε(t)$ 
$g(t)$ {{---}} тренд. 
$s(t)$ {{---}} сезонность. 
$h(t)$ {{---}} каникулы. 
$ε(t)$ {{---}} ошибки. 

Подгонка модели представляет собой упражнение по подгонке кривой, поэтому она явно не учитывает структуру временной зависимости в данных. Это также позволяет проводить наблюдения с нерегулярным интервалом. 
Есть два варианта временных рядов тренда: модель насыщающего роста и кусочно-линейная модель. Модель многопериодной сезонности основана на рядах Фурье<ref>[[Определение ряда Фурье]]</ref>. Эффект известных и заказных выходных дней может быть легко включен в модель. 
Модель Prophet вставлена в байесовскую структуру и позволяет сделать полный апостериорный вывод, чтобы включить неопределенность параметров модели в неопределенность прогноза. 

===NNETAR===
 
Модель авторегрессии нейронной сети (англ. Neural NETwork AutoRegression, NNETAR) представляет собой полностью связанную [https://neerc.ifmo.ru/wiki/index.php?title=Нейронные_сети,_перцептрон нейронную сеть].

Модель NNETAR принимает на вход последние элементы последовательности до момента времени $t$ и выводит прогнозируемое значение в момент времени $t + 1$. Для выполнения многоэтапных прогнозов сеть применяется итеративно.

===LSTM===
 
Модели [[:Долгая_краткосрочная_память|cети долго-краткосрочной памяти]] (англ. Long short-term memory, LSTM) могут использоваться для прогнозирования временных рядов (а также других рекуррентных нейронных сетей). 
Состояние сети LSTM представлено через вектор пространства состояний. Этот метод позволяет отслеживать зависимости новых наблюдений от прошлых (даже очень далеких). 
Вообще говоря, LSTM представляют собой сложные модели, и они редко используются для прогнозирования одного временного ряда, поскольку для их оценки требуется большой объем данных. Однако они обычно используются, когда необходимы прогнозы для большого количества временных рядов ([https://arxiv.org/abs/1704.04110 как показано здесь]).

==Оценка==
[[Файл:Evaluation.png |right|600px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 17. MAE с перекрестной проверкой для каждой модели]]]
Выполнен выбор модели с помощью процедуры перекрестной проверки, описанной ранее. Не рассчитывая его для динамических линейных моделей и моделей LSTM из-за их высокой вычислительной стоимости и низкой производительности. 
На следующем рисунке показана [[средняя абсолютная ошибка]] (англ. Mean Absolute Error, MAE) с перекрестной проверкой для каждой модели и для каждого временного горизонта (рис. 17):

Модель NNETAR по сезонно скорректированным данным была лучшей моделью для данной задачи, поскольку она соответствовала самому низкому значению MAE, прошедшему перекрестную проверку. 
Чтобы получить объективную оценку наилучшей производительности модели, вычислим MAE на тестовом наборе(рис. 18), получив оценку, равную 5,24. На следующем рисунке можно увидеть MAE, оцененную на тестовой выборке для каждого временного горизонта. 

[[Файл:Cross-validated MAE.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 18. MAE, тестовый набор]]]
 
===Как еще больше повысить производительность===
Другие методы повышения производительности моделей:
*Использование разных моделей для разных временных горизонтов
*Объединение нескольких прогнозов (например, с учетом среднего прогноза)
*'''Агрегация начальных данных'''
 
Последний метод можно резюмировать следующим образом:
*Разложите исходный временной ряд (например, используя STL)
*Создайте набор похожих временных рядов путем случайного перемешивания фрагментов оставшейся компоненты.
*Подбирайте модель для каждого временного ряда
*Средние прогнозы каждой модели

==Заключительные замечания==
Большинство ранее описанных моделей позволяют легко включать изменяющиеся во времени предикторы. Они могут быть извлечены из одного и того же временного ряда или могут соответствовать внешним предикторам (например, временному ряду другого индекса). В последнем случае мы должны обратить внимание на то, чтобы не использовать информацию из будущего, которая могла бы быть удовлетворена путем прогнозирования предикторов или использования версий c ошибками. 

Обратите внимание, что в данном конспекте рассматривается случай, когда у нас есть один временной ряд для прогнозирования. Когда у нас много временных рядов, может быть предпочтительнее глобальный подход, поскольку он позволяет нам оценивать более сложную и потенциально более точную модель. Чтобы ознакомиться с глобальным подходом, щелкните [https://arxiv.org/abs/1704.04110 здесь].

==См. Также==
* [[Кластеризация]]
* [[Уменьшение размерности]]
* [[Рекомендательные системы]]
* [[Анализ социальных сетей]]
* [[Графовые нейронные сети]]
* [[Компьютерное зрение]]

== Примечания ==
<references/>

==Источники Информации==
* Филатов, А. В. Заметки профайлера / А. В. Филатов. -Москва: Издательские решения, 2019. -522.
* [http://www.machinelearning.ru/wiki/index.php?title=Временной_ряд machinelearning.ru]
*[https://ru.wikipedia.org/wiki/Временной_ряд Википедия: Временной ряд]
*[http://statsoft.ru/home/textbook/modules/sttimser.html StatSoft: Анализ временных рядов]
[[Категория: Машинное обучение]]
[[Категория: Анализ временных рядов]]

Анализ временных рядов

2021-01-15T03:09:57Z

Cga: /* Источники Информации */

Временные ряды {{---}} это актуальный инструмент применимый во множестве решений, от предсказания цен на акции, прогнозов погоды, планирования бизнеса, до распределения ресурсов. Несмотря на то, что прогнозирование может быть сведено к построению контролируемой [[Вариации регрессии|регрессии]], существуют особенноссти, связанные с временным характером наблюдений, которые необходимо учитывать, используя специальные инструменты. 

==Временной ряд==
{{Определение
|definition =
'''Временно́й ряд (или ряд динамики)''' {{---}} собранный в разные моменты времени статистический материал о значении каких-либо параметров (в простейшем случае одного) исследуемого процесса. Каждая единица статистического материала называется измерением или отсчётом. Во временном ряде для каждого отсчёта должно быть указано время измерения или номер измерения по порядку.
}}

==Валидирование и тестирование модели временного ряда==
Данные упорядочены относительно неслучайных моментов времени, и, значит, в отличие от случайных выборок, могут содержать в себе дополнительную информацию, поэтому нельзя пользоваться обычными способами валидации. Чтобы избежать смещения оценки необходимо удостовериться, что обучающие наборы данных содержат только наблюдения, которые произошли до событий из валидирующиx наборов. 
[[Файл:TimeSeriesCross-validation.png |thumb|left|400px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 1. кросс-валидация временного ряда]]] 

Возможным способом преодоления данной проблемы будет использование скользящего окна, как описано [https://robjhyndman.com/hyndsight/tscv/ здесь]. Эта процедура называется [[Кросс-валидация|кросс-валидацией]] временного ряда и может быть вкратце описана следующей картинкой (рис. 1), в которой синие точки обозначают тренировочный набор данных, а красные соответствующие валидационные наборы данных. 

Если необходимо предсказать следующие $n$ шагов, то можно заранее кросс-валидировать $1,2,...,n$. Таким образом можно также сравнить качество предсказаний для разных временных горизонтов. 

Определив лучшую модель, можно применить её ко всему обучающему набору и оценить его работу на следующем во времени наборе данных. Оценка работы может быть дана с использованием метода скользящего окна<ref>[https://wiki.loginom.ru/articles/windowing-method.html loginom: Метод скользящего окна]</ref>, который используем при кросс-валидации, но без переподсчёта параметра модели.

==Краткое исследование данных==
[[Файл:ManufactureOfElectricalEquipment.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 2. Набор данных описывающий график производства электрооборудования]]] 

В данной части используется несколько разных моделей для предсказания изменений в промышленном производстве, которые для примера будем оценивать численно, как количество электрооборудования, произведённого в зоне Евро (рис. 2, 3). 
[[Файл:SeasonalPlotMonthluSeasonalPattern.png|thumb|right|300px|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 3. Сезонные колебания]]]
Набор данных описывает ежемесячное производство электрооборудования (компьютеры электрические и оптические приборы) в зоне евро (17 стран) в период с января 1996 по март 2012 года (см. график ниже). Последние два года будем использовать при тестировании. 

==Модели прогнозирования временных рядов==

Существует 10 моделей прогнозирования, у каждой имеются свои достоинства и недостатки. Ниже, используя каждую модель, предскажем 12 месяцев, соответственно, значение $t+1, t+2, …, t + 12$.
Имеет смысл использовать среднюю абсолютную ошибку для работы оценки модели. 

===Наивное предсказание===
[[Файл:NaiveElectricalEquipmentManufacturing.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 4. Наивная]]] 

Предсказания для каждого горизонта соотвествуют последнему наблюдаемому значению
$Y(t + h|t) = Y(t)$.

Такие предскания предполагают, что стохастическая<ref>[https://ru.wikipedia.org/wiki/Стохастичность Википедия: Стохастичность]</ref> модель генерирует [[Участник:Mk17.ru|случайное блуждание]]. 
[[Файл:SeasonalNaiveElectricalEquipmentManufacturing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 5. Cезонно-наивная]]] 
Расширение наивной модели сезонно-наивная модель (англ. Season Naive, SNAIVE) {{---}} сезонно-наивная модель предполагает, что временной ряд имеет сезонную компоненту, и что период сезонности T. 

Прогнозы SNAIVE {{---}} модели описываются формулой $\dot{Y}(t+h|t) = Y(t+h-T)$.

Получаемые прогнозы следующие T шагов совпадают с предыдущими T шагами.
Эти модели часто используются как ориентировочные модели. Следующий графики показывают предсказания двух моделей для 2007 года (рис. 4, 5). 

===Разделение по сезонам + любая модель===
[[Файл:STL_docompositionOnIndustrialProductionIndexData.png|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 6. Методы разложения ряда]]] 
Если данные показывают, что они восприимчивы к периодическим (сезонным) изменениям (ежедневно, еженедельно, ежеквартально, ежегодно), то будет полезным разложить исходный временной ряд на сумму трёх компонентов. 

$Y(t) = S(t) + T(t) + R(t)$ 
$S(t)$ {{---}} сезонный компонент. 
$T(t)$ {{---}} компонент трендового цикла. 
$R(t)$ {{---}} остаток. 
Существуют несколько способов для такого разложения, но наиболее простой называется классическим разложением и заключается в том, чтобы оценить тренд $T(t)$ через скользящее среднее, посчитать $S(t)$, как среднее без тренда $Y(t) - T(t)$ для каждого сезона 
Посчитать остаток, как $R(t) = Y(t) - T(t)-S(t)$. 
[[Файл:SeasonallyAdjustedIndustrial.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 7. Сезонные индексы ряда]]]
Классическое разложение можно расширить несколькими способами. 
Расширение позволяет использовать данный метод при:
* непостоянной величине сезона
* посчитать начальные и конечные значения декомпозиции
* избежать лишнего сглаживания

Обзор методов разложений ряда можно увидеть по [https://otexts.com/fpp2/decomposition.html ссылке]. Используется реализация из стандартной библиотеки (рис. 6). 

Одним из способов использования декомпозиции для прогнозирования будет: 
1) Разложить обучающий набор алгоритмом из STL. 
2) Посчитать сезонное отклонение ряда $Y(t) - S(t)$, используя любую модель для прогнозирования сезонно-чувствительного временного ряда. 
3) Добавить прогнозам сезонность последнего временного периода во временном ряду (в нашем случае $S(t)$ для прошлого года). 
[[Файл:SeasonallyAdjustedTimeSeries.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 8. Декомпозиция и наивная модель]]] 
На следующем графике показаны сезонные индексы ряда с учётом сезонности (рис. 7): 

Следующий график показывает предсказания полученные для 2007 года с использованием STL декомпозиции и наивной модели(рис. 8) для сезонно-изменяемого временного ряда: 

Декомпозиция была исплементирована с помощью встроенной в стандартную библиотеку функции.

===Экспоненциальное сглаживание ===
 
[[Файл:ExpSmoothing.png|thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 9. данные полученные для 2007 года с использованием модели экспоненциального сглаживания]]]
Экспоненциальное сглаживание<ref>[https://ru.wikipedia.org/wiki/Экспоненциальное_сглаживание Википедия: Экспоненциальное сглаживание]</ref> {{---}} один из наиболее успешных классических методов предсказаний. В своей базовой форме он называется простым экспоненциальный сглаживанием и его прогнозы описываются формулами:
$Ŷ(t+h|t) = ⍺y(t) + ⍺(1-⍺)y(t-1) + ⍺(1-⍺)²y(t-2) + …$ 
'''''with $0<⍺<1.$''''' 
[[Файл:ExpSmoothing+Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 10. данные полученные для 2007 года с использованием модели экспоненциального сглаживания и декомпозиции]]]

Заметно, что прогнозы равны взвешенному среднему от старых наблюдений, и что соответствующие веса убывают экспоненциально по мере хода времени.

Некоторые методы для расширения алгоритма позволяют добавить тренд, его затухание и сезонность.
Экспоненциальное сглаживание состоит из 9 моделей, которые подробно описаны здесь([https://otexts.com/fpp2/taxonomy.html ссылка]).

Следующие графики (рис. 9, 10) описывают прогнозы данных полученные для 2007 года с использованием модели экспоненциального сглаживания (выбраны автоматически), которые подходили исходному и сезонно-чувствительному временному ряду. 

===ARIMA, SARIMA===
 
[[Файл:SARIMA.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 11. SARIMA]]]
Также как и экспоненциальное сглаживание, интегрированная модель авторегрессии скользящего среднего (англ. autoregressive integrated moving average, ARIMA) также часто используются для прогноза временных рядов.

{{Определение
|definition =
'''Саморегрессивность''' {{---}} линейная комбинация старых значений.
}}
{{Определение
|definition =
'''Скользящее среднее''' {{---}} общее название для семейства функций, значения которых в каждой точке определения равны некоторому среднему значению исходной функции за предыдущий период.
}}
[[Файл:SARIMA_Decomposition.png|thumb|right|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 12. SARIMA декомпозированная]]]
ARIMA {{---}} комбинация этих двух подходов. Так как эти подходы требуются стационарности временного ряда, может понадобится продифференциировать/проинтегрировать ряд
То есть рассматировать ряд разностей, а не исходный ряд.

Сезонная интегрированная модель авторегрессии скользящего среднего (англ. season autoregressive integrated moving average, SARIMA) учитывает сезонность, добавляя линейную комбинацию прошлых сезонных значений и/или прошлых ошибок прогноза.
Для полного ввода в ARIMA, SARIMA читайте по [https://otexts.com/fpp2/arima.html ссылке].

Данные графики показывают предсказания полученные для 2007 года с использованием модели SARIMA (рис. 11,12).

===Garch===
 
[[Файл:GARCH.png |thumb|left|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 13. ARMA]]] 

В предыдущих моделях считалось, что слагаемое ошибки в стохастическом процессе генерации временного ряда имело одинаковую дисперсию.

В GARСH-модели (рис. 13) предполагается, что слагаемое ошибки следуют авторегрессионному скользящему среднему (англ. AutoRegressive Moving Average, ARMA), соответственно слагаемое меняется по ходу времени. Это особенно полезно при моделировании финансовых временных рядов, так как диапазон изменений тоже постоянно меняется.

Обычно ARMA используется и для учёта среднего, более подробное введение в Garsh можно найти [https://cran.r-project.org/web/packages/rugarch/vignettes/Introduction_to_the_rugarch_package.pdf здесь] 

===Динамические линейные модели===
[[Файл:DLM+Decomposition.png|right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 14. DLM]]] 
Динамические линейные модели представляют другой класс моделей предсказания временных рядов(рис. 14).
Идея заключается в том, что в каждый момент времени $t$ эти модели соответствуют линейной модели, но коэффициент регрессии постоянно меняется. Пример динамической линейной модели ниже: 
$y(t) = ⍺(t) + tβ(t) + w(t)$ 
$⍺(t) = ⍺(t-1) + m(t)$ 
$β(t) = β(t-1) + r(t)$ 
$w(t)~N(0,W) , m(t)~N(0,M) , r(t)~N(0,R)$ 

В предыдущей модели коэффициенты $a(t)$ и $b(t)$ следуют случайному блужданию.

Динамические линейные модели могут быть построены в рамках Байесовской системы. Тем не менее и этот метод можно улучшить, подробности [https://cran.r-project.org/web/packages/dlm/vignettes/dlm.pdf здесь]. 

===TBATS===
 
[[Файл:TBATS_Electrical.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 15. DLM]]]
TBATS {{---}} это модели, которые основаны на экспоненциальном сглаживании(рис. 15). Главной особенностью TBATS является возможность взаимодействия с несколькими сезонностями. Моделируя каждую функцию сезонности отдельным тригонометрическим отображением построенным на рядах Фурье. Классическим примером комплексной сезонности будет отображение ежедневных объемов продаж, которые имеет, как еженедельные колебания, так и ежегодные. 

Больше информации можно прочиать [https://robjhyndman.com/papers/ComplexSeasonality.pdf тут]. 

===Prophet===
 
Ещё одна модель, способная взаимодействовать с несколькими сезонностями.
Это ПО с открытым исходным кодом от Фейсбука (рис. 16). 
[[Файл:Prophet.png |right|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 16. Prophet]]]

Prophet считает, что временной ряд может быть расложен следующим образом: 
$y(t) = g(t) + s(t) + h(t) + ε(t)$ 
$g(t)$ {{---}} тренд. 
$s(t)$ {{---}} сезонность. 
$h(t)$ {{---}} каникулы. 
$ε(t)$ {{---}} ошибки. 

Подгонка модели представляет собой упражнение по подгонке кривой, поэтому она явно не учитывает структуру временной зависимости в данных. Это также позволяет проводить наблюдения с нерегулярным интервалом. 
Есть два варианта временных рядов тренда: модель насыщающего роста и кусочно-линейная модель. Модель многопериодной сезонности основана на рядах Фурье<ref>[[Определение ряда Фурье]]</ref>. Эффект известных и заказных выходных дней может быть легко включен в модель. 
Модель Prophet вставлена в байесовскую структуру и позволяет сделать полный апостериорный вывод, чтобы включить неопределенность параметров модели в неопределенность прогноза. 

===NNETAR===
 
Модель авторегрессии нейронной сети (англ. Neural NETwork AutoRegression, NNETAR) представляет собой полностью связанную [https://neerc.ifmo.ru/wiki/index.php?title=Нейронные_сети,_перцептрон нейронную сеть].

Модель NNETAR принимает на вход последние элементы последовательности до момента времени $t$ и выводит прогнозируемое значение в момент времени $t + 1$. Для выполнения многоэтапных прогнозов сеть применяется итеративно.

===LSTM===
 
Модели [[:Долгая_краткосрочная_память|cети долго-краткосрочной памяти]] (англ. Long short-term memory, LSTM) могут использоваться для прогнозирования временных рядов (а также других рекуррентных нейронных сетей). 
Состояние сети LSTM представлено через вектор пространства состояний. Этот метод позволяет отслеживать зависимости новых наблюдений от прошлых (даже очень далеких). 
Вообще говоря, LSTM представляют собой сложные модели, и они редко используются для прогнозирования одного временного ряда, поскольку для их оценки требуется большой объем данных. Однако они обычно используются, когда необходимы прогнозы для большого количества временных рядов ([https://arxiv.org/abs/1704.04110 как показано здесь]).

==Оценка==
[[Файл:Evaluation.png |right|600px|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 17. MAE с перекрестной проверкой для каждой модели]]]
Выполнен выбор модели с помощью процедуры перекрестной проверки, описанной ранее. Не рассчитывая его для динамических линейных моделей и моделей LSTM из-за их высокой вычислительной стоимости и низкой производительности. 
На следующем рисунке показана [[средняя абсолютная ошибка]] (англ. Mean Absolute Error, MAE) с перекрестной проверкой для каждой модели и для каждого временного горизонта (рис. 17):

Модель NNETAR по сезонно скорректированным данным была лучшей моделью для данной задачи, поскольку она соответствовала самому низкому значению MAE, прошедшему перекрестную проверку. 
Чтобы получить объективную оценку наилучшей производительности модели, вычислим MAE на тестовом наборе(рис. 18), получив оценку, равную 5,24. На следующем рисунке можно увидеть MAE, оцененную на тестовой выборке для каждого временного горизонта. 

[[Файл:Cross-validated MAE.png |left|thumb|[https://towardsdatascience.com/an-overview-of-time-series-forecasting-models-a2fa7a358fcb Рисунок 18. MAE, тестовый набор]]]
 
===Как еще больше повысить производительность===
Другие методы повышения производительности моделей:
*Использование разных моделей для разных временных горизонтов
*Объединение нескольких прогнозов (например, с учетом среднего прогноза)
*'''Агрегация начальных данных'''
 
Последний метод можно резюмировать следующим образом:
*Разложите исходный временной ряд (например, используя STL)
*Создайте набор похожих временных рядов путем случайного перемешивания фрагментов оставшейся компоненты.
*Подбирайте модель для каждого временного ряда
*Средние прогнозы каждой модели

==Заключительные замечания==
Большинство ранее описанных моделей позволяют легко включать изменяющиеся во времени предикторы. Они могут быть извлечены из одного и того же временного ряда или могут соответствовать внешним предикторам (например, временному ряду другого индекса). В последнем случае мы должны обратить внимание на то, чтобы не использовать информацию из будущего, которая могла бы быть удовлетворена путем прогнозирования предикторов или использования версий c ошибками. 

Обратите внимание, что в данном конспекте рассматривается случай, когда у нас есть один временной ряд для прогнозирования. Когда у нас много временных рядов, может быть предпочтительнее глобальный подход, поскольку он позволяет нам оценивать более сложную и потенциально более точную модель. Чтобы ознакомиться с глобальным подходом, щелкните [https://arxiv.org/abs/1704.04110 здесь].

==См. Также==
* [[Кластеризация]]
* [[Уменьшение размерности]]
* [[Рекомендательные системы]]
* [[Анализ социальных сетей]]
* [[Графовые нейронные сети]]
* [[Компьютерное зрение]]

== Примечания ==
<references/>

==Источники Информации==
* Филатов, А. В. Заметки профайлера / А. В. Филатов. -Москва: Издательские решения, 2019. -522.
* [http://www.machinelearning.ru/wiki/index.php?title=Временной_ряд machinelearning.ru]
*[https://ru.wikipedia.org/wiki/Временной_ряд Википедия: Временной ряд]
*[http://statsoft.ru/home/textbook/modules/sttimser.html Анализ временных рядов]
[[Категория: Машинное обучение]]
[[Категория: Анализ временных рядов]]