118
правок
Изменения
Нет описания правки
== Математическая основа ==
=== Функция ожидаемого риска (англ. Expected Risk Function) ===
Цель системы обучения состоит в поиске минимума функции <tex>J(w)</tex>, называемой функцией ожидаемого риска.
<tex> J (w) \thickapprox \hat{J_L}(w) \stackrel{\triangle}{=} \frac{1}{L} \sum_{n=1}^L Q(z_n,w) </tex>
=== Пакетный градиентный спуск (англ. Batch Gradient Descent) ===
[[Файл:BatchGradientDescent.PNG|420px|thumb|right|Пакетный градиентный спуск]]
Каждая итерация алгоритма пакетного градиентного спуска включает в себя вычисление среднего значения градиентов функции потерь <tex>\bigtriangledown_w Q(z_n,w)</tex> по всей обучающей выборке. Для хранения достаточно большой обучающей выборки и вычисления этого среднего должны быть выделены значительные вычислительные ресурсы и память.
=== Градиентный спуск в реальном времени (англ. Online Gradient Descent) ===
[[Файл:OnlineGradientDescent.PNG|420px|thumb|right|Градиентный спуск в реальном времени]]
<tex>Q_{adaline}(z, w) \stackrel{\triangle}{=} (y - w'x)^2\ </tex>
=== Многослойные сети (англ. Multi-Layer Networks)===
Многослойные сети были разработаны для преодоления вычислительных ограничений пороговых элементов. Произвольные двоичные отображения могут быть реализованы путем объединения нескольких слоев пороговых элементов, при этом каждый слой использует выходные данные элементов предыдущих слоев в качестве входных данных.
<tex>Q_{kmeans}(x, w) \stackrel{\triangle}{=} \stackrel{K}{\min_{k = 1}}(x - w(k))^2\ </tex>
Эта функция потерь измеряет ошибку в положении точки <tex>x</tex>, когда мы заменяем ее ближайшим центроидом, и удовлетворяет следующему условию при определенных ожиданиях <tex>E(x)</tex> и <tex>E(x^2)</tex>:
<tex> \forall z, \forall \upsilon \in \vartheta (w), \mid Q(z, \upsilon) - Q(z, w)\mid \le \mid w - \upsilon - w\mid \Phi(z, w) \ </tex>
Поэтому мы можем можно игнорировать недифференцируемые точки и применять алгоритм градиентного спуска в реальном времени.
<tex> w_{t+1}^- = w_t^- + \gamma_t(x_t - w_t) \ </tex>
==См. также==
*[[Обучение с частичным привлечением учителя]]
*[[Активное обучение]]
*[[Обучение с подкреплением]]
*[[Глубокое обучение]]
== Источники информации ==
* [https://leon.bottou.org/publications/pdf/online-1998.pdf Leon Bottou. Online Learning and Stochastic Approximations. 1998]
* [https://www.analyticsvidhya.com/blog/2015/01/introduction-online-machine-learning-simplified-2/ Introduction to Online Machine Learning: Simplified]
[[Категория: Машинное обучение]]
[[Категория: Виды обучения]]
