34
правки
Изменения
→Многослойные сети
=== Многослойные сети ===
Многослойные сети были разработаны для преодоления вычислительных ограничений пороговых элементов. Произвольные двоичные отображения могут быть реализованы путем объединения нескольких слоев пороговых элементов, при этом каждый слой использует выходные данные элементов предыдущих слоев в качестве входных данных.
Разрыв порогового элемента может быть представлен плавным нелинейным приближением:
<tex>sign(w'x) \thickapprox thanh (w' x) \ </tex>
Использование таких сигмоидальных элементов не уменьшает вычислительные возможности многослойной сети.
Многослойная сеть сигмоидальных элементов реализует дифференцируемую функцию <tex>f(x, w)</tex> от входных данных <tex>x</tex> и параметров <tex>w</tex>. Алгоритм обратного распространения ошибки обеспечивает эффективный способ вычисления градиентов функции среднего квадрата потерь.
<tex>Q_{mse}(z, w) = \frac{1}{2}(y - f(x, w))^2 \ </tex>
=== Перцептрон ===
