Изменения

== Математическая основа ==

Цель системы обучения состоит в поиске минимума функции <tex>J(w)</tex>, называемой функцией ожидаемого риска.

<tex> J (w) \thickapprox \hat{J_L}(w) \stackrel{\triangle}{=} \frac{1}{L} \sum_{n=1}^L Q(z_n,w) </tex>

[[Файл:BatchGradientDescent.PNG|420px|thumb|right|Пакетный градиентный спуск]]

Каждая итерация алгоритма пакетного градиентного спуска включает в себя вычисление среднего значения градиентов функции потерь <tex>\bigtriangledown_w Q(z_n,w)</tex> по всей обучающей выборке. Для хранения достаточно большой обучающей выборки и вычисления этого среднего должны быть выделены значительные вычислительные ресурсы и память.

[[Файл:OnlineGradientDescent.PNG|420px|thumb|right|Градиентный спуск в реальном времени]]

<tex>Q_{adaline}(z, w) \stackrel{\triangle}{=} (y - w'x)^2\ </tex>

Многослойные сети были разработаны для преодоления вычислительных ограничений пороговых элементов. Произвольные двоичные отображения могут быть реализованы путем объединения нескольких слоев пороговых элементов, при этом каждый слой использует выходные данные элементов предыдущих слоев в качестве входных данных.