Изменения

* 1943 - Искусственный нейрон Маккаллока — Питтса<ref>[https://en.wikipedia.org/wiki/Artificial_neuron Artificial neuron, Wikipedia]</ref>{{---}} узел искусственной нейронной сети, являющийся упрощённой моделью естественного нейрона.* 1949 - Принчип обучения нейронов Хебба<ref>[https://en.wikipedia.org/wiki/Hebbian_theory Hebbian theory, Wikipedia]</ref>{{---}} если изначально наблюдается причинно-следственная связь между активациями пре- и постсинаптического нейрона, то эта связь имеет тенденцию к усилению.* 1957 - Модель перцептрона предложена Фрэнком Розенблаттом<ref>[https://en.wikipedia.org/wiki/Perceptron Perceptron, Wikipedia]</ref>{{---}} математическая или компьютерная модель восприятия информации мозгом.* 1960 - Дельта-правило обучения перцептрона<ref>[https://en.wikipedia.org/wiki/Delta_rule Delta rule, Wikipedia]</ref>{{---}} метод обучения перцептрона по принципу градиентного спуска по поверхности ошибки.* 1969 - Выход книги Марвина Минска и Сеймура Паперта "Перцептроны"<ref>[https://en.wikipedia.org/wiki/Perceptrons_(book) Perceptrons book, WIkipedia]</ref>В данной книге математически показаны ограничения перцептронов.* 1974 - Метод обратного распространения ошибки впервые предложен А. И. Галушкиным и Дж. Вербосом<ref>[https://en.wikipedia.org/wiki/Backpropagation Backpropagation, Wikipedia]</ref>{{---}} метод вычисления градиента, который используется при обновлении весов многослойного перцептрона.* 1980 - Первая свёрточная нейронная сеть предложена Кунихико Фукусимой<ref>[https://en.wikipedia.org/wiki/Convolutional_neural_network Convolutional_neural_network, Wikipedia]</ref>{{---}} специальная архитектура искусственных нейронных сетей использующая некоторые особенности зрительной коры.* 1982 - Рекуррентные нейронные сети предложены Д. Хопфилдом{{---}} вид нейронных сетей, где связи между элементами образуют направленную последовательность.* 1991 - Проблема "исчезающего" градиента была сформулирована С. Хочрейтом. Проблема заключается в быстрой потере информации с течением времени.* 1997 - Долгая краткосрочная память предложена С. Хочрейтом и Ю. Шмидхубером<ref>[https://en.wikipedia.org/wiki/Long_short-term_memory Long short-term memory, Wikipedia]</ref>. В отличие от традиционных рекуррентных нейронных сетей, LSTM-сеть хорошо приспособлена к обучению на задачах классификации, обработки и прогнозирования временных рядов в случаях, когда важные события разделены временными лагами с неопределённой продолжительностью и границами.

* 2006 - Публикации Г. Хинтона, С. Осиндера и Я. Теха об обучении сетей глубоких убеждений. Данные публикации смогли привлечь внимание к глубоким сетям.* 2012 - Предложение дропаута Г. Хинтоном, А. Крижевски и И. Шутковичем<ref>[https://en.wikipedia.org/wiki/Dropout_(neural_networks) Dropout, Wikipedia]</ref>. Дропаут (от англ. dropout) — метод регуляризации искусственных нейронных сетей, предназначен для предотвращения переобучения сети.* 2012 - Нейронные сети побеждают в ImageNet Challenge<ref>[https://en.wikipedia.org/wiki/ImageNet#ImageNet_Challenge ImageNet Challenge, Wikipedia]</ref>. Начало Данное событие ознаменовало начало эры нейронных сетей и глубокого обучения.