Поиск архитектуры нейронной сети

Neaural Architecture Search (NAS, Поиск архитектуры нейронной сети) - процесс автоматизации проектирования архитектуры, то есть нахождение нашей модели машинного обучения. Системе NAS предоставляется набор данных, тип задачи (классификация, регрессия и т.д.), на основании которого система определяет архитектуру нейронной сети. Эта архитектура будет работать лучше всех других архитектур для данной задачи при обучении предоставленным набором данных. NAS можно рассматривать как часть AutoML (Автоматическое машинное обучение), он имеет значительное совпадение с оптимизацией гиперпараметров (Настройка гиперпараметров). NAS находит архитектуру из всех возможных архитектур, следуя стратегии поиска, которая максимизирует производительность. На следующем рисунке представлен алгоритм NAS.

Принцип работы

Рисунок 1 - Абстрактная иллюстрация методов NAS. Стратегия поиска выбирает архитектуру A из предопределенного пространства поиска A. Архитектура передается в стратегию оценки производительности, которая возвращает оценку эффективности A в стратегию поиска. ([Источник])

Источники информации

• AutoML: A Survey of the State-of-the-Art Xin He, Kaiyong Zhao, Xiaowen Chu
• Bayesian Optimization with Neural Architectures for Neural Architecture Search, Colin White, Willie Neiswanger, Yash Savani
• Medium Towards Data Science - Neural Architecture Search (NAS) - The Future Of Deep Learning