Изменения

Neaural Architecture Search (NAS, {{Определение|definition ='''Поиск архитектуры нейронной сети''' (англ. ''Neural Architecture Search, NAS'') - — процесс автоматизации проектирования архитектуры, то есть нахождение самой модели машинного обучения. Системе NAS предоставляется набор данных, тип задачи (классификация, регрессия и т.д.), на основании которого система определяет архитектуру нейронной сети. Эта архитектура будет работать лучше всех других архитектур для данной задачи при обучении предоставленным набором данных. }} 

Методы для NAS классифицируются по трем измерениям: пространство поиска (англ. ''Search Space''), стратегия поиска (англ. ''Search Strategy'') и стратегия оценки эффективности (англ. ''Performance Estimation Strategy''). Схематичный принцип работы NAS отображен на рисунке 1.[[Файл:NAS 1.PNG|900px|thumb|center|Абстрактная Рисунок 1 — Обобщающая иллюстрация методов NAS. Стратегия поискавыбирает архитектуру <tex>A </tex> из предопределенного пространства поиска <tex>A</tex>. Архитектурапередается в стратегию оценки производительности, которая возвращает оценку эффективности <tex>A </tex> в стратегию поиска. ([https://arxiv.org/pdf/1808.05377.pdf Источник])]] === Пространство поиска (Search Space) ===[[Файл:Chain-like-NAS.png|thumb|right|A chain-like and multi-branch network; каждый узел соответствует уровню в нейронной сети. Различные типы слоев визуализируются разными цветами. Ребро от слоя Li до слоя Lj обозначает, что Lj получает выходные данные Li в качестве входных данных.]]Пространство поиска определяет, какую нейронную архитектуру в принципе может обнаружить подход NAS. Это может быть цепочечная архитектура, в которой выход уровня (n-1) подается как вход уровня (n). [[Файл:Cell-like-NAS.png|left|thumb|слева: сell architecture, две разные ячейки, например normal cell (вверху) и reduction cell (внизу); справа: ячейки помещены во внешнюю структуру ручной работы]].Или это может быть современная сложная архитектура с пропущенным соединением (multi-branch network).

Наиболее часто используемые типы архитектур для NAS - — это '''entire structures'''([https://arxiv.org/pdf/1908.00709.pdf, Источник 4.1.1 стр.6]), '''cell-based structures'''([https://arxiv.org/pdf/1908.00709.pdf, Источник 4.1.2 стр.6]),'''progressive structures''' ([https://arxiv.org/pdf/1908.00709.pdf, Источник 4.1.3 стр.7]) и '''morphism-based structures'''([https://arxiv.org/pdf/1908.00709.pdf, Источник 4.1.4 стр.8]).

Иногда используют внешнюю архитектуру ручной работы (макроархитектуру) с повторяющимися мотивами или ячейками. В таких случаях внешняя структура является фиксированной, NAS ищет только ''cell''-архитектуры''. Этот тип поиска известен как микро-поиск или ''cell search'' (см. рисунок 3).

 === Стратегия поиска (англ. ''Search Strategy'')===

Для изучения пространства нейронных архитектур можно использовать множество различных стратегий поиска, включая '''случайный поиск''', '''байесовскую оптимизацию''', '''эволюционные методы''', '''[[обучение с подкреплением]] (reinforcement learning)''' и '''методы на основе градиента'''.

[[Файл:NAS-method-comparison.PNG|800px|thumb|center|слева: результат экспериментов, минимизирующих функцию потерь и количества параметров модели; справа: сравнение основных используемых в NAS алгоритмов]]Лучшие результаты на сегодняшний день показывает NAS с использованием стратегии байесовской оптимизации (согласно исследованию [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani], рисунок 4).[[Файл:NAS-method-comparison.PNG|800px|thumb|center| Рисунок 4 — Слева: результат экспериментов, минимизирующих функцию потерь и количества параметров модели; справа: сравнение основных используемых в NAS алгоритмов]]

==== BANANAS (англ. ''Bayesian optimization with neural architectures for NAS'') ====[[Файл:BANANAS alg.PNG|400px|thumb|right|Рисунок 5 — Иллюстрация мета-нейронной сети в алгоритме BANANAS]]Сложностью применения байесовской оптимизации в NAS является обязательное наличие функции расстояния между слоями нейросети. Чтобы обойти этот момент, был разработан алгоритм [https://github.com/naszilla/bananas BANANAS (Bayesian optimization with neural architectures for NAS)] - — алгоритм, использующий специальную кодировку ''path encoding '' для кодирования входных архитектур и получающий на выходе вероятностные распределения (см. рисунок5).   Алгоритм BANANAS:#Выбираются t0 случайных архитектур из пространства поиска (Search Space)#Итерационно проводится обучение ансамбля мета-нейронный сетей на выбранных архитектурах. Каждая сеть ансамбля является сетью прямой связи с полностью связанными слоями, каждому слою дается случайная инициализация весов и случайный порядок обучающего набора. Используемая функция ошибки - вариация MAPE (mean absolute percentage error).##Далее формируется набор архитектур-"кандидатов" посредством случайных изменений лучших архитектур после обучения##Для каждой архитектуры-кандидата определяется значение переданной на вход ITS acquisition function (''[[https://en.wikipedia.org/wiki/Thompson_sampling independent Thompson sampling]]'')##Для архитектуры-кандидата с минимальным значением acquisition function определяется значение целевой вероятностной функции

===Стратегия оценки эффективности (англ. ''Performance Estimation Strategy'')===Целью NAS обычно является поиск архитектуры, обеспечивающей высокую точность прогнозов. ''Performance Estimation '' относится к процессу оценки этой производительности. Самый простой вариант - — выполнить стандартное обучение и проверку архитектуры данных, но это, к сожалению, вычислительно дорого и ограничивает количество архитектур, которые можно изучить. Поэтому многие недавние исследования направлены на разработку методов, способных снизить стоимость этих оценок производительности.

Способы снижения стоимости ''Performance Estimation '' и увеличения скорости:*Сокращение качества оценки - — более высокая скорость достигается сокращением датасета*Экстраполяция прямой обучения - — функция оценки может быть экстраполирована после всего нескольких обучающих итераций*Наследование / Сетевые морфизмы - — параметры модели не ищутся каждый раз, они наследуются по каким-либо правилам*Модели ''One-Shot '' / Распределение веса - — обучается только одна модель, далее ее веса/параметры используются остальными моделями