Глубокое обучение

Глубокое обучение как часть машинного обучения.

Глубокое обучение (англ. deep learning) — совокупность широкого семейства методов машинного обучения, основанных на имитации работы человеческого мозга в процессе обработки данных и создания паттернов, используемых для принятия решений. Как правило, глубокое обучение предназначено для работы с большими объемами данных и использует сложные алгоритмы для обучения модели. На больших датасетах глубокое обучение показывает более высокую точность результатов в сравнении с традиционным машинным обучением. Зависимость производительности (качества результатов) от объема данных представлена на рисунке ниже.

Зависимость производительности от объема данных.

Несмотря на то, что данный раздел машинного обучения появился еще в 1980-х, до недавнего времени его применение было сильно ограничено из-за недостатка вычислительных мощностей существовавших компьютеров. Ситуация изменилась только в середине 2000-х.

На создание моделей глубокого обучения оказали влияние некоторые процессы и паттерны, происходящие в биологических нейронных системах. Несмотря на это, данные модели во многом отличаются от биологического мозга (и в структуре и в функциях), что делает невозможным использование теорем и доказательств, применяющихся в нейробиологии.

История

• 1943 — Искусственный нейрон Маккаллока — Питтса — узел искусственной нейронной сети, являющийся упрощённой моделью естественного нейрона;
• 1949 — Принцип обучения нейронов Хебба — изначально наблюдаемая причинно-следственная связь между активациями пре- и постсинаптического нейрона имеет тенденцию к усилению;
• 1957 — Модель перцептрона предложена Фрэнком Розенблаттом — математическая или компьютерная модель восприятия информации мозгом;
• 1960 — Дельта-правило обучения перцептрона — метод обучения перцептрона по принципу градиентного спуска по поверхности ошибки;
• 1969 — Выход книги Марвина Минска и Сеймура Паперта "Перцептроны". В данной книге математически показаны ограничения перцептронов;
• 1974 — Метод обратного распространения ошибки впервые предложен А. И. Галушкиным и Дж. Вербосом — метод вычисления градиента, который используется при обновлении весов многослойного перцептрона;
• 1980 — Первая свёрточная нейронная сеть предложена Кунихико Фукусимой — специальная архитектура искусственных нейронных сетей использующая некоторые особенности зрительной коры;
• 1982 — Рекуррентные нейронные сети предложены Д. Хопфилдом — вид нейронных сетей, где связи между элементами образуют направленную последовательность;
• 1991 — Проблема "исчезающего" градиента была сформулирована С. Хочрейтом. Проблема "исчезающего" градиента заключается в быстрой потере информации с течением времени;
• 1997 — Долгая краткосрочная память предложена С. Хочрейтом и Ю. Шмидхубером. В отличие от традиционных рекуррентных нейронных сетей, LSTM-сеть хорошо приспособлена к обучению на задачах классификации, обработки и прогнозирования временных рядов в случаях, когда важные события разделены временными промежутками с неопределённой продолжительностью и границами;
• 1998 — Градиентный спуск для сверточных нейронных сетей предложен Я. Лекуном;
• 2006 — Публикации Г. Хинтона, С. Осиндера и Я. Теха об обучении сетей глубокого доверия. Данные публикации, а также их активное освещение в средствах массовой информации смогли привлечь внимание ученых и разработчиков со всего мира к глубоким сетям;
• 2012 — Предложение дропаута Г. Хинтоном, А. Крижевски и И. Шутковичем. Дропаут (от англ. dropout) — метод регуляризации искусственных нейронных сетей, предназначен для предотвращения переобучения сети;
• 2012 — Нейронные сети побеждают в ImageNet Challenge. Данное событие ознаменовало начало эры нейронных сетей и глубокого обучения;
• 2014 — Группа исследователей под руководством Зеппа Хохрейтера использовала глубокое обучение для определения токсичного воздействия лекарств и бытовых средств на окружающую среду. Данна работа была отмечена первым местом на соревновании "Tox21 Data Challenge";
• 2016 — Программа для игры в го Google AlphaGo выиграла со счётом 4:1 у Ли Седоля, лучшего международного игрока в эту игру. AlphaGo, разработанная DeepMind, использует глубокое обучение с помощью многоуровневых нейронных сетей;
• 2018 — Глубокое обучение впервые используется для планирования лучевой терапии.

В настоящее время глубокое обучение используется во многих сферах.

Определение

Глубокое обучение — это класс алгоритмов машинного обучения, который:

• Использует многослойную систему нелинейных фильтров для извлечения признаков с преобразованиями. Каждый последующий слой получает на входе выходные данные предыдущего слоя;
• Может сочетать алгоритмы обучения с учителем^{[на 28.01.19 не создан]} (пример — классификация) и без учителя ^{[на 28.01.19 не создан]} (пример — анализ образца);
• Формирует в процессе обучения слои выявления признаков на нескольких уровнях представлений, которые соответствуют различным уровням абстракции; при этом признаки организованы иерархически — признаки более высокого уровня являются производными от признаков более низкого уровня;

Глубокие и неглубокие нейронные сети.

Применения

• Распознавание речи. Все основные коммерческие системы распознавания речи (например, Microsoft Cortana, Xbox, Skype Translator, Amazon Alexa, Google Now, Apple Siri, Baidu и iFlyTek) основаны на глубоком обучении;
• Компьютерное зрение^{[на 28.01.19 не создан]}. На сегодняшний день системы распознавания образов основанные на глубоком обучении уже умеют давать более точные результаты, чем человеческий глаз;
• Обработка естественного языка. Нейронные сети использовались для реализации языковых моделей еще с начала 2000-х годов. Изобретение LSTM помогло улучшить машинный перевод и языковое моделирование;
• Обнаружение новых лекарственных препаратов. К примеру, нейронная сеть AtomNet использовалась для прогнозирования новых биомолекул — кандидатов для лечения таких заболевания, как вирус Эбола и рассеянный склероз;
• Рекомендательные системы. На сегодняшний день глубокое обучение применяется для изучения пользовательских предпочтений во многих доменах;
• Предсказание генномных онтологий в биоинформатике.

Полный список возможных применений глубокого обучения.

Transfer learning

Transfer learning. Иллюстрация из статьи на habr.com.

Transfer learning — это применение к решению задачи знаний, извлеченных нейронной сетью при решении другой задачи.

Глубокие нейронные сети требуют больших объемов данных для сходимости обучения. Поэтому часто встречается ситуация, когда для решаемой задачи недостаточно данных для того, чтобы хорошо натренировать все слои нейросети. Для решения этой проблемы и используется transfer learning.

Чаще всего transfer learning выглядит следующим образом: к натренированной на определенную задачу нейросети добавляется еще несколько скрытый слоев, которые позволяют использовать уже полученные знания для решения более конкретной задачи. Например, знания, полученные при обучении распознаванию различных предметов, могут применяться при решении задачи распознавания еды.

Фреймворки для глубокого обучения

• TensorFlow;
• Microsoft Cognitive Toolkit;
• Wolfram Mathematica;
• Keras;
• Deeplearning4j;
• Caffe;
• Torch/PyTorch;
• MXNet;
• Chainer.

Сопоставление фреймворков, библиотек и отдельных программ для глубокого обучения.

См. также

• Нейронные сети, перцептрон
• Сверточные нейронные сети
• Рекуррентные нейронные сети
• Обучение с подкреплением

Источники информации

• Deep learning, Wikipedia
• Глубокое обучение, Wikipedia
• Deep Learning Book, MIT
• Multi-Layer Neural Networks with Sigmoid Function, Towards Data Science
• Rectified Linear Units (ReLU) in Deep Learning, Kaggle