Изменения

Стоит отметить* 1943 - Искусственный нейрон Маккаллока — Питтса<ref>[https://en.wikipedia.org/wiki/Artificial_neuron Artificial neuron, что первый общий рабочий алгоритм для глубоких многослойных перцептронов прямого распространения был опубликован в книге советских учёных Алексея Григорьевича Ивахненко и Валентина Григорьевича Лапы «Кибернетические предсказывающие устройства»Wikipedia]</ref>* 1949 - Принчип обучения нейронов Хебба<ref>[https://en.wikipedia. Сам термин «глубокое обучение» появился в научном сообществе машинного обучения в 1986 году в работе израильскоorg/wiki/Hebbian_theory Hebbian theory, Wikipedia]</ref>* 1957 -американской ученой Рины Дехтер «Learning While Searching in Constraint-Satisfaction-Problems»Модель перцептрона предложена Фрэнком Розенблаттом<ref>[https://wwwen.researchgatewikipedia.netorg/publicationwiki/221605378_Learning_While_Searching_in_Constraint-Satisfaction-Problems Learning While Searching in Constraint-Satisfaction-ProblemsPerceptron Perceptron, Wikipedia]</ref>.  Многие архитектуры глубокого * 1960 - Дельта-правило обучения берут своё начало с искусственной нейронной сети Neocognitronперцептрона<ref>[https://en.wikipedia.org/wiki/Neocognitron NeocognitronDelta_rule Delta rule, Wikipedia]</ref>, представленной в 1980 году Кунихикой Фукусимой* 1969 - Выход книги Марвина Минска и Сеймура Паперта "Перцептроны"<ref>[https://en.wikipedia. Особенное влияние данная сеть оказала на архитектурыorg/wiki/Perceptrons_(book) Perceptrons book, использующиеся для компьютерного зрения. В 1989 году Яну Лекуну удалось использовать алгоритм WIkipedia]<ref>* 1974 - Метод обратного распространения ошибки для обучения глубоких нейросетей для решения задачи распознавания рукописных ZIP-кодоввпервые предложен А. И. Галушкиным и Дж. Вербосом<ref>[https://wwwen.icswikipedia.uci.eduorg/wiki/~wellingBackpropagation Backpropagation, Wikipedia]</teachingref>* 1980 - Первая свёрточная нейронная сеть предложена Кунихико Фукусимой<ref>[https:/273ASpring09/lecun-89een.wikipedia.pdf Backpropagation Applied to Handwritten Zip Code Recognitionorg/wiki/Convolutional_neural_network Convolutional_neural_network, Wikipedia]</ref>. Хотя алгоритм работал, на его обучение потребовалось 3 дня, что существенно ограничевало применимость данного метода. Из* 1982 -за низкой скорости обучения Рекуррентные нейронные сети в 1990предложены Д. Хопфилдом* 1991 -х годах уступили место методу опорных векторов"Проблема исчезающего градиента" была сформулирована С.Хочрейтом Популярность глубокое обучение приобрело в середине 2000* 1997 -х годовДолгая краткосрочная память предложена С. Хочрейтом и Ю. Этому способствовали несколько факторовШмидхубером<ref>[https: //en.wikipedia.org/wiki/Long_short-term_memory Long short-term memory, Wikipedia]</ref>* появились более мощные компьютеры, способные обучать большие нейронные сети;1998 - Градиентный спуск для сверточных нейронных сетей предложена Я. Лекуном* появились новые датасеты2006 - Глубокая модель предложена Г. Хинтоном, достаточные по объёму, чтобы обучение больших сетей имело смысл;С. Осиндером и Я. Техом* произошли существенные продвижения в теории искусственных нейронных сетей2012 - Предложение исключений(дропаута) Г. В появившихся статьях авторы показалиХинтоном, что можно эффективно предобучать многослойную нейронную сетьА. Крижевски и И. Шутковичем<ref>[https://en.wikipedia.org/wiki/Dropout_(neural_networks) Dropout, если обучать каждый слой отдельно при помощи ограниченной машины Больцмана, а затем дообучать при помощи метода обратного распространения ошибки;Wikipedia]</ref>* технология привлекли внимание крупных медиа2012 - Нейронные сети побеждают ImageNet<ref>[https://ru.wikipedia.org/wiki/ImageNet ImageNet, {{---}} первым из мировых СМИ об этом написал The New York TimesWikipedia]</ref>. Начало эры нейронных сетей и глубокого обучения.