10
правок
Изменения
Исправлены рисунок 4 и рисунок 5
==== Сравнение методов стратегий поиска ====
Лучшие результаты на сегодняшний день показывает NAS с использованием стратегии байесовской оптимизации<ref>[https://arxiv.org/pdf/1910.11858.pdf, Cоответствующее исследование.]</ref> (рисунок 4).
[[Файл:NAS-method-comparisoncomparison_rus.PNGpng|700px|thumb|center| Рисунок 4 — Слева: результат экспериментов, минимизирующих функцию потерь и количества параметров модели. Cправа: сравнение основных используемых в NAS алгоритмов. [https://arxiv.org/pdf/1910.11858.pdf, Источник, стр. 8] ]]
Байесовская оптимизация (англ. ''Bayes Optimization, BO'') использует алгоритм для построения вероятностной модели целевой функции, а затем использует эту модель, чтобы выбрать наиболее перспективные гиперпараметры и оценивает выбранные гиперпараметры на истинной целевой функции. Таким образом, байесовская оптимизация может итеративно обновлять вероятностную модель, ведя учет оценок прошлых результатов.
==== BANANAS (англ. ''Bayesian optimization with neural architectures for NAS'') ====
[[Файл:BANANAS algalg_rus.PNGpng|400px|thumb|right| Рисунок 5 — Иллюстрация мета-нейронной сети в алгоритме BANANAS. [https://arxiv.org/pdf/1910.11858.pdf, Источник, стр. 2] ]]
Сложностью применения байесовской оптимизации в NAS является обязательное наличие функции расстояния между слоями нейросети. Чтобы обойти этот момент, был разработан [https://github.com/naszilla/bananas BANANAS] — алгоритм, использующий специальную кодировку (англ. ''path encoding'') для кодирования входных архитектур и получающий на выходе вероятностные распределения (рисунок 5).
