Обратное распространение ошибки - История изменений

Maintenance script: rollbackEdits.php mass rollback

2022-09-04T16:32:11Z

rollbackEdits.php mass rollback

185.100.85.24 в 04:29, 1 сентября 2022

2022-09-01T04:29:34Z

Xroms: /* Алгоритм */

2019-04-08T19:20:58Z

‎Алгоритм

Xroms: /* Алгоритм */

2019-04-08T19:20:20Z

‎Алгоритм

Xroms: /* Алгоритм */

2019-04-07T03:23:30Z

‎Алгоритм

Xroms: /* Алгоритм */

2019-04-07T03:23:03Z

‎Алгоритм

Xroms: /* Алгоритм */

2019-04-07T03:21:24Z

‎Алгоритм

Xroms: /* Алгоритм */

2019-04-07T03:20:37Z

‎Алгоритм

Xroms: /* Алгоритм */

2019-04-07T03:17:56Z

‎Алгоритм

Xroms: /* См. также */

2019-04-07T01:43:46Z

‎См. также

← Предыдущая		Версия 16:32, 4 сентября 2022
Строка 1:		Строка 1:
−	~~{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"~~
−	\|+
−	~~\|-align="center"~~
−	~~\|'''НЕТ ВОЙНЕ'''~~
−	~~\|-style="font-size: 16px;"~~
−	\|
−	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
−
−	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
−
−	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
−
−	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
−
−	~~''Антивоенный комитет России''~~
−	~~\|-style="font-size: 16px;"~~
−	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
−	~~\|-style="font-size: 16px;"~~
−	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
−	\|}
−
	'''Метод обратного распространения ошибок''' (англ. ''backpropagation'') {{---}} метод вычисления градиента, который используется при обновлении весов в [[Нейронные_сети,_перцептрон\|нейронной сети]].		'''Метод обратного распространения ошибок''' (англ. ''backpropagation'') {{---}} метод вычисления градиента, который используется при обновлении весов в [[Нейронные_сети,_перцептрон\|нейронной сети]].

← Предыдущая		Версия 04:29, 1 сентября 2022
Строка 1:		Строка 1:
		+	{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"
		+	\|+
		+	\|-align="center"
		+	\|'''НЕТ ВОЙНЕ'''
		+	\|-style="font-size: 16px;"
		+	\|
		+	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
		+
		+	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
		+
		+	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
		+
		+	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
		+
		+	''Антивоенный комитет России''
		+	\|-style="font-size: 16px;"
		+	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
		+	\|-style="font-size: 16px;"
		+	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
		+	\|}
		+
	'''Метод обратного распространения ошибок''' (англ. ''backpropagation'') {{---}} метод вычисления градиента, который используется при обновлении весов в [[Нейронные_сети,_перцептрон\|нейронной сети]].		'''Метод обратного распространения ошибок''' (англ. ''backpropagation'') {{---}} метод вычисления градиента, который используется при обновлении весов в [[Нейронные_сети,_перцептрон\|нейронной сети]].

@@ Строка 91: / Строка 91: @@
 * <math>\{x_i^d, t^d\}_{i=1,d=1}^{n,m}</math> {{---}} обучающее множество
 * <math>\textrm{steps}</math> {{---}} количество повторений
-* <math>network</math> {{---}} функция, подающая значения на вход сети и возвращающая выходные значения всех ее узлов
+* <math>network(x)</math> {{---}} функция, подающая x на вход сети и возвращающая выходные значения всех ее узлов
 * <math>layers</math> {{---}} количество слоев в сети
 * <math>layer_i</math> {{---}} множество нейронов в слое i

@@ Строка 91: / Строка 91: @@
 * <math>\{x_i^d, t^d\}_{i=1,d=1}^{n,m}</math> {{---}} обучающее множество
 * <math>\textrm{steps}</math> {{---}} количество повторений
-* <math>network</math> {{---}} функция, возвращающая ответ сети
+* <math>network</math> {{---}} функция, подающая значения на вход сети и возвращающая выходные значения всех ее узлов
 * <math>layers</math> {{---}} количество слоев в сети
 * <math>layer_i</math> {{---}} множество нейронов в слое i
 * <math>output</math> {{---}} множество нейронов в выходном слое
   '''fun''' BackPropagation<math>(\eta, \alpha, \{x_i^d, t^d\}_{i=1,d=1}^{n,m}, \textrm{steps})</math>:
@@ Строка 107: / Строка 108: @@
                      <math>\delta _j</math> = <math>\sigma'(o_j)\sum_{k \in layer_{i + 1}} \delta _k w_{j,k}</math>
              '''for''' <math>\forall w_{i,j}</math>:
-                 <math>\Delta w_{i,j}(n)</math> = <math>\alpha \Delta w_{i,j}(n-1) + ( 1 - \alpha ) \eta \delta _j o_{i}</math>
+                 <math>\Delta w_{i,j}^{n}</math> = <math>\alpha \Delta w_{i,j}^{n-1} + ( 1 - \alpha ) \eta \delta _j o_{i}</math>
-                 <math>w_{i,j}(n)</math> = <math>w_{i,j}(n-1) + \Delta w_{i,j}(n)</math>
+                 <math>w_{i,j}^{n}</math> = <math>w_{i,j}^{n-1} + \Delta w_{i,j}^{n}</math>
      '''return''' <math>w_{ij}</math>

@@ Строка 110: / Строка 110: @@
                  <math>w_{i,j}(n)</math> = <math>w_{i,j}(n-1) + \Delta w_{i,j}(n)</math>
      '''return''' <math>w_{ij}</math>
 == Недостатки алгоритма ==

@@ Строка 105: / Строка 105: @@
              '''for''' <math>i</math> = <math>layers - 1</math> to <math>1</math>:
                  '''for''' <math>j \in layer_i</math>:
-                     <math>\delta _j</math> = <math>\sigma'(o_j)\sum_{k \in layer_{j + 1}} \delta _k w_{j,k}</math>
+                     <math>\delta _j</math> = <math>\sigma'(o_j)\sum_{k \in layer_{i + 1}} \delta _k w_{j,k}</math>
              '''for''' every <math>w_{i,j}</math>:
                  <math>\Delta w_{i,j}(n)</math> = <math>\alpha \Delta w_{i,j}(n-1) + ( 1 - \alpha ) \eta \delta _j o_{i}</math>

@@ Строка 87: / Строка 87: @@
 == Алгоритм ==
-Пример реализации алгоритма на Python
+* <math>\eta</math> - скорость обучения
-  def backward_propagate_error(network, expected):
+  '''fun''' BackPropagation<math>(\eta, \alpha, \{x_i^d, t^d\}_{i=1,d=1}^{n,m}, \textrm{steps})</math>:
-     for i in reversed(range(len(network))):
+    '''init''' <math>\{w_{ij}\}_{i,j} </math>
-          layer = network[i]
+    '''repeat''' <math>\textrm{steps}</math>:
-          errors = list()
+        '''for''' <math>d</math> = <math>1</math> to <math>m</math>:
-          if i != len(network)-1:
+            <math>o</math> = <math>network(\{x_i^d\}) </math>
-               for j in range(len(layer)):
+            '''for''' <math>k \in output</math>:
-                     error = 0.0
+                <math>\delta _k</math> = <math>\sigma'(o_k)(t_k - o_k)</math>
-                    for neuron in network[i + 1]:
+            '''for''' <math>i</math> = <math>layers - 1</math> to <math>1</math>:
-                         error += (neuron['weights'][j] * neuron['delta'])
+                '''for''' <math>j \in layer_i</math>:
-                    errors.append(error)
+                     <math>\delta _j</math> = <math>\sigma'(o_j)\sum_{k \in layer_{j + 1}} \delta _k w_{j,k}</math>
-          else:
+            '''for''' every <math>w_{i,j}</math>:
-               for j in range(len(layer)):
+                <math>\Delta w_{i,j}(n)</math> = <math>\alpha \Delta w_{i,j}(n-1) + ( 1 - \alpha ) \eta \delta _j o_{i}</math>
-                    neuron = layer[j]
+                <math>w_{i,j}(n)</math> = <math>w_{i,j}(n-1) + \Delta w_{i,j}(n)</math>
-                    errors.append(expected[j] - neuron['output'])
+    '''return''' <math>w_{ij}</math>
-          for j in range(len(layer)):
-               neuron = layer[j]
-               neuron['delta'] = errors[j] * transfer_derivative(neuron['output'])
+где <math>\alpha</math> — коэффициент инерциальности для сглаживания резких скачков при перемещении по поверхности целевой функции
 == Недостатки алгоритма ==

@@ Строка 123: / Строка 123: @@
 ==См. также==
-*[[:Нейронные_сети,_перцептрон|Нейронные_сети,_перцептрон]]
+*[[:Нейронные_сети,_перцептрон|Нейронные сети, перцептрон]]
 *[[:Стохастический градиентный спуск|Стохастический градиентный спуск]]
 == Источники информации ==