Изменения

Neaural Architecture Search (NAS, {{Определение|definition ='''Поиск архитектуры нейронной сети''' (англ. ''Neural Architecture Search, NAS'') - — это процесс автоматизации проектирования архитектурынейронной сети. Другими словами, то есть нахождение нашей это процесс поиска лучшей структуры модели машинного обучения. Системе Система NAS предоставляется получает на вход набор данных, и тип задачи (классификация, регрессия и т.д.), и на основании которого система определяет выходе дает архитектуру нейронной сетимодели. Эта Полученная архитектура будет работать лучше всех других остальных архитектур для данной данного типа задачи при обучении предоставленным набором на предоставленном наборе данных. }} NAS можно рассматривать как часть AutoML ([[Автоматическое машинное обучение|автоматического машинного обучения (англ. ''AutoML'')]]), он имеет значительное совпадение . NAS существенно пересекается с оптимизацией гиперпараметров ([[Настройка гиперпараметров|оптимизацией гиперпараметров]]). NAS находит архитектуру Чтобы из всех возможных архитектурнайти нужную, следуя NAS следует стратегии поиска, которая максимизирует производительность.

Методы для NAS классифицируются по трем категориям: пространство поиска (англ. ''Search Space''), стратегия поиска (англ. ''Search Strategy'') и стратегия оценки эффективности (англ. ''Performance Estimation Strategy''). Схематичный принцип работы NAS отображен на рисунке 1.[[Файл:NAS 1rus.PNGpng|900px|thumb|center|Абстрактная Рисунок 1 — Обобщающая иллюстрация методов NAS. Стратегия поискавыбирает архитектуру <tex>A </tex> из предопределенного пространства поиска <math>A</math>. Архитектурапередается в стратегию оценки производительности, которая возвращает оценку эффективности <tex>A </tex> в стратегию поиска. ([https://arxiv.org/pdf/1808.05377.pdf Источник])]]

=== Пространство поиска (англ. ''Search Space'') ===[[Файл:Chain-like-NAS.png|thumb|right|A chain-like and multi-branch network; каждый узел соответствует уровню в нейронной сети. Различные типы слоев визуализируются разными цветами. Ребро от слоя Li до слоя Lj обозначает, что Lj получает выходные данные Li в качестве входных данных.]]Пространство поиска определяет, какую нейронную архитектуру в принципе может обнаружить подход система NAS. Это может быть цепочечная архитектура(рисунок 2, слева), в которой выход уровня <tex>(n-1) </tex> подается как вход уровня <tex>(n)</tex>. [[Файл:Cell-like-NAS.png|left|thumb|слева: сell architecture, две разные ячейки, например normal cell (вверху) и reduction cell (внизу); справа: ячейки помещены во внешнюю структуру ручной работы]].Или это может быть современная сложная ветвистая архитектура с пропущенным соединением (пропусками соединений<ref>англ. ''Multi-branch neural networks with branch control'', пример: [https://ieeexplore.ieee.org/document/1323611, multi-branch network]</ref> (рисунок 2, справа).

Предварительные знания о типичных свойствах архитектур способны уменьшить размер пространства В некоторых случаях используют спроектированный вручную каркас архитектуры (макроархитектуру), состоящий из повторяющихся ячеек (англ. ''motifs/blocks/cells''). В таких случаях каркас является фиксированным, а задача NAS заключается в поиске архитектуры самих ячеек. Такой тип поиска и упростить известен как микро-поиск(англ. Тем не менее, они также могут помешать человеку найти новые архитектурные строительные блоки, которые выходят за рамки современных человеческих знаний''cell-search'') (рисунок 3).

Наиболее часто используемые <div style="text-align: center"><ul> <li style="display: inline-block;"> [[Файл:Chain_like_NAS_rus.png|thumb|400px| Рисунок 2 — цепочечная архитектура (слева) и ветвистая архитектура (справа). Различные типы архитектур для NAS слоев визуализируются разными цветами. Ребро от слоя <tex>C_i</tex> до слоя <tex>C_j</tex> означает, что <tex>C_j</tex> в качестве входных данных получает выходные данные <tex>C_i</tex>.]] </li><li style="display: inline- это '''entire structures'''block;"> [[Файл:Cell_like_NAS_rus.png|thumb|450px| Рисунок 3 — Слева: архитектуры ячеек. Например, обычная (англ. '''normal cell-based structures''','''progressive structures''' ) вверху и редуцированная (англ. '''morphism-based structures'reduction cell'') внизу. Cправа: каркас архитектуры состоит из 3 ячеек, конкретные архитектуры ячеек помещены в каркас. ]] </li></ul></div>

Иногда используют внешнюю архитектуру ручной работы (макроархитектуру) с повторяющимися мотивами или ячейкамиПредварительные знания о типичных свойствах архитектур могут уменьшить размер пространства поиска и упростить поиск. В таких случаях внешняя структура является фиксированнойТем не менее, они также могут помешать человеку найти новые архитектурные ячейки, NAS ищет только cell-архитектуры. Этот тип поиска известен как микро-поиск или cell searchкоторые выходят за рамки современных человеческих знаний.

=== Стратегия поиска (англ. ''Search Strategy'')===Стратегия поиска подробно описывает, как исследовать пространство поиска, которое часто экспоненциально велико или даже неограниченно. Она включает в себя классический компромисс между разведкой и эксплуатацией, поскольку, с одной стороны, желательно найтибыстро работающие архитектуры, с другой стороны, следует избегать преждевременного схождения.

Для изучения пространства нейронных архитектур можно использовать множество различных стратегий поиска, включая '''случайный поиск''', '''байесовскую оптимизацию''', '''эволюционные методы''', '''[[обучение с подкреплением]] (reinforcement learning)''' и '''методы на основе градиента'''.

Лучшие результаты на сегодняшний день показывает NAS с использованием стратегии байесовской оптимизации<ref>[https://arxiv.org/pdf/1910.11858.pdf, Cоответствующее исследование.]</ref> (рисунок 4).[[Файл:NAS-method-comparisoncomparison_rus.PNGpng|800px700px|thumb|center|слеваРисунок 4 — Слева: результат экспериментов, минимизирующих функцию потерь и количества параметров модели; справа. Cправа: сравнение основных используемых в NAS алгоритмов]]Лучшие результаты на сегодняшний день показывает NAS с использованием стратегии байесовской оптимизации (согласно исследованию . [https://arxiv.org/pdf/1910.11858.pdf Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin WhiteИсточник, Willie Neiswanger, Yash Savaniстр. 8] ]]). Байесовская оптимизация (Bayes Optimization, BO) использует алгоритм для построения вероятностной модели целевой функции, а затем использует эту модель, чтобы выбрать наиболее перспективные гиперпараметры и оценивает выбранные гиперпараметры на истинной целевой функции. Следовательно, BO может итеративно обновлять вероятностную модель, ведя учет оценок прошлых результатов.

==== BANANAS Байесовская оптимизация (Bayesian optimization with neural architectures for NAS) ====[[Файл:BANANAS alg.PNG|400px|thumb|right|Иллюстрация мета-нейронной сети в алгоритме BANANAS]]Сложностью применения байесовской оптимизации в NAS является обязательное наличие функции расстояния между слоями нейросетиангл. Чтобы обойти этот момент''Bayes Optimization, был разработан алгоритм [https://github.com/naszilla/bananas BANANAS (Bayesian optimization with neural architectures for NASBO'')] - использует алгоритмдля построения вероятностной модели целевой функции, использующий специальную кодировку path encoding для кодирования входных архитектур а затем использует эту модель, чтобы выбрать наиболее перспективные гиперпараметры и получающий оценивает выбранные гиперпараметры на выходе вероятностные распределения (смистинной целевой функции. рисунок)Таким образом, байесовская оптимизация может итеративно обновлять вероятностную модель, ведя учет оценок прошлых результатов.

#Выбираются t0 <tex>t_0</tex> случайных архитектур из пространства поиска (Search Space).#Итерационно проводится обучение ансамбля мета-нейронный нейронных сетей на выбранных архитектурах. Каждая сеть ансамбля является сетью прямой связи с полностью связанными слоями, каждому слою дается случайная инициализация весов и случайный порядок обучающего набора. Используемая функция ошибки {{--- }} вариация [[%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0_%D0%BA%D0%B0%D1%87%D0%B5%D1%81%D1%82%D0%B2%D0%B0_%D0%B2_%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%D0%B0%D1%85_%D0%BA%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D0%B8_%D0%B8_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%B8#.D0.A1.D1.80.D0.B5.D0.B4.D0.BD.D1.8F.D1.8F_.D0.B0.D0.B1.D1.81.D0.BE.D0.BB.D1.8E.D1.82.D0.BD.D0.B0.D1.8F_.D0.BF.D1.80.D0.BE.D1.86.D0.B5.D0.BD.D1.82.D0.BD.D0.B0.D1.8F_.D0.BE.D1.88.D0.B8.D0.B1.D0.BA.D0.B0_.28.D0.B0.D0.BD.D0.B3.D0.BB._Mean_Absolute_Percentage_Error.2C_MAPE.29 | MAPE (mean absolute percentage errorангл. ''Mean Absolute Percentage Error'')]].##Далее формируется набор архитектур-"кандидатов" посредством случайных изменений лучших архитектур после обучения.##Для каждой архитектуры-кандидата определяется значение переданной на вход ITS acquisition function (''[функции сбора [https://en.wikipedia.org/wiki/Thompson_sampling independent Thompson sampling]независимой выборки Томпсона](англ. ''ITS acquisition function'').##Для архитектуры-кандидата с минимальным значением acquisition function функции сбора определяется значение целевой вероятностной функции.

===Стратегия оценки эффективности (англ. ''Performance Estimation Strategy'')===Целью NAS обычно является поиск архитектуры, обеспечивающей высокую точность прогнозов. Performance Estimation относится к процессу Определением этой точности занимается процесс оценки этой производительностиэффективности. Самый простой вариант - — выполнить стандартное обучение и проверку архитектуры данных, но это, к сожалению, вычислительно дорого и ограничивает количество архитектур, которые можно изучить. Поэтому многие недавние исследования направлены на разработку методов, способных снизить стоимость этих оценок производительностиоценки эффективности и увеличить скорость. Уже разработанные методы:*Сокращение качества оценки — более высокая скорость достигается сокращением набора данных.*Экстраполяция прямой обучения — функция оценки может быть экстраполирована после всего нескольких обучающих итераций.*Наследование / Сетевые морфизмы — параметры модели не ищутся каждый раз, они наследуются по каким-либо правилам.*Модели ''One-Shot'' / Распределение веса — обучается только одна модель, далее ее веса/параметры используются остальными моделями.

Способы снижения стоимости Performance Estimation и увеличения скорости:== См. также ==* [[Автоматическое машинное обучение]]*Сокращение качества оценки - более высокая скорость достигается сокращением датасета[[Настройка гиперпараметров]]*Экстраполяция прямой обучения - функция оценки может быть экстраполирована после всего нескольких обучающих итераций[[Обучение с подкреплением]]*Наследование / Сетевые морфизмы - параметры модели не ищутся каждый раз, они наследуются по каким-либо правилам[[Модель алгоритма и её выбор]]*Модели One-Shot / Распределение веса - обучается только одна модель, далее ее веса/параметры используются остальными моделями[[Эволюционные алгоритмы]]