34
правки
Изменения
→Пакетный градиентный спуск (Batch Gradient Descent)
[[Файл:BatchGradientDescent.PNG|420px|thumb|right|Пакетный градиентный спуск]]
Минимизировать эмпирический риск <tex>\hat{J_L}(w)</tex> можно с помощью алгоритма пакетного градиентного спуска. Последовательные оценки <tex>w_t</tex> оптимального параметра вычисляются по следующей формуле, где <tex>\gamma_t</tex> - положительное число.
<tex> w_{t+1} = w_t - \gamma_t \bigtriangledown_w \hat{J_L}(w_t) = w_t - \gamma_t\ \frac{1}{L} \sum_{i=1}^L \bigtriangledown_w\ Q(z_i,w_t)\ </tex>
Когда скорость обучения <tex>\gamma_t</tex> достаточно мала, алгоритм сходится к локальному минимуму эмпирического риска <tex>\hat{J_L}(w)</tex>. Значительное ускорение сходимости может быть достигнуто путем замены скорости обучения <tex>\gamma_t</tex> подходящей определенной положительной матрицей.
Однако каждая итерация алгоритма пакетного градиентного спуска включает в себя вычисление среднего значения градиентов функции потерь <tex> w_{t+1} = w_t - \gamma_t \bigtriangledown_w \hat{J_L}(w_t) = w_t - \gamma_t\ \frac{1}{L} \sum_{i=1}^L \bigtriangledown_w\ Q(z_iz_n,w_tw)\ </tex>по всей обучающей выборке. Для хранения достаточно большой обучающей выборки и вычисления этого среднего должны быть выделены значительные вычислительные ресурсы и память.
=== Градиентный спуск в реальном времени (Online Gradient Descent) ===
