Изменения

Перейти к: навигация, поиск

Поиск архитектуры нейронной сети

445 байт добавлено, 19:19, 4 сентября 2022
м
rollbackEdits.php mass rollback
* прогрессивные архитектуры (англ. ''progressive structures'')
* архитектуры, основанные на ячейках (англ. ''cell-based structures'')
* архитектуры, основанные на [https://ru.wiktionary.org/wiki/%D0%BC%D0%BE%D1%80%D1%84%D0%B8%D0%B7%D0%BC, морфизме] (англ. ''morphism-based structures'')
=== Стратегия поиска (англ. ''Search Strategy'')===
Алгоритм BANANAS:
#Выбираются <tex>t_0</tex> случайных архитектур из пространства поиска.
#Итерационно проводится обучение ансамбля мета-нейронных сетей на выбранных архитектурах. Каждая сеть ансамбля является сетью прямой связи с полностью связанными слоями, каждому слою дается случайная инициализация весов и случайный порядок обучающего набора. Используемая функция ошибки {{- --}} вариация [https://en[%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0_%D0%BA%D0%B0%D1%87%D0%B5%D1%81%D1%82%D0%B2%D0%B0_%D0%B2_%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%D0%B0%D1%85_%D0%BA%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D0%B8_%D0%B8_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%B8#.D0.A1.D1.80.D0.B5.D0.B4.D0.BD.D1.8F.D1.8F_.D0.B0.D0.B1.D1.81.D0.BE.D0.BB.D1.8E.D1.82.D0.BD.D0.B0.D1.8F_.D0.BF.D1.80.D0.BE.D1.86.wikipediaD0.org/wiki/Mean_absolute_percentage_error, B5.D0.BD.D1.82.D0.BD.D0.B0.D1.8F_.D0.BE.D1.88.D0.B8.D0.B1.D0.BA.D0.B0_.28.D0.B0.D0.BD.D0.B3.D0.BB._Mean_Absolute_Percentage_Error.2C_MAPE.29 | MAPE] (англ. ''Mean Absolute Percentage Error'')]].
##Далее формируется набор архитектур-кандидатов посредством случайных изменений лучших архитектур после обучения.
##Для каждой архитектуры-кандидата определяется значение переданной на вход функции сбора [https://en.wikipedia.org/wiki/Thompson_sampling, независимой выборки Томпсона] (англ. ''ITS acquisition function'').
##Для архитектуры-кандидата с минимальным значением функции сбора определяется значение целевой вероятностной функции.
===Стратегия оценки эффективности (англ. ''Performance Estimation Strategy'')===
Целью NAS обычно является поиск архитектуры, обеспечивающей высокую точность прогнозов. Определением этой точности занимается процесс оценки эффективности. Самый простой вариант — выполнить стандартное обучение и проверку архитектуры данных, но это, к сожалению, вычислительно дорого и ограничивает количество архитектур, которые можно изучить. Поэтому многие недавние исследования направлены на разработку методов, способных снизить стоимость оценок эффективности. Способы снижения стоимости процесса оценки эффективности и увеличения скоростиувеличить скорость. Уже разработанные методы:*Сокращение качества оценки — более высокая скорость достигается сокращением датасетанабора данных.*Экстраполяция прямой обучения — функция оценки может быть экстраполирована после всего нескольких обучающих итераций.*Наследование / Сетевые морфизмы — параметры модели не ищутся каждый раз, они наследуются по каким-либо правилам.*Модели ''One-Shot'' / Распределение веса — обучается только одна модель, далее ее веса/параметры используются остальными моделями.
== См. также ==
1632
правки

Навигация