Изменения

<b> Автоматическое машинное обучение </b> (англ. Automated Machine Learning, AutoML) {{---}} процесс создания динамической комбинации различных методов для формирования простой в использовании сквозной конвейерной системы машинного обучения. AutoML использует хорошо зарекомендовавшие себя методы, которые мы классифицируем в следующие категории на основе пайплайна конвеера машинного обучения (показано на Рис.1): подготовка данных, разработка конструирование признаков, генерация моделей и их оценка моделей.[[Файл:1automl_1_1.jpegpng|1000px|thumb|center|Рисунок 1: Конвеер автоматического машинного обучения]]

Разработка Конструирование признаков состоит из 3 процессов: извлечение признаков, выбор признаков и построение признаков.<br>

Аббревиатуры GD, RLМетоды [[Настройка гиперпараметров | оптимизации гиперпараметров]]: случайный поиск, EAпоиск по сетке, BO и BOB обозначают градиентный спуск(gradient descent, GD), [[Обучение с подкреплением | обучение с подкреплением]], [[Эволюционные алгоритмы | эволюционный алгоритм]] (evolutionary algorithm, EA), байесовская оптимизация и (Bayesian optimization, BO), байесовская оптимизация на основе гиперболы(Bayesian optimization based hyperband, соответственноBOBH).

Первым шагом в пайплайне конвейере машинного обучения идет этап подготовки данных. Как правило, во Во многих задачах, например, распознавание изображений в задаче распознавания образов в медицине, бывает трудно получить достаточно данных, или <i>качественно размеченных</i> данных. Мощная система AutoML должна уметь справляться с этой проблемой. Для исследования этой задачи процесс подготовки данных разделяется на два подэтапа: сбор данных и их предобработка.

Углубленное изучение ML привело к консенсусу, что качественные данные должны быть доступныобщедоступны. В результате появилось множество открытых наборов данных.Однако, с помощью вышеуказанных подходов, как правило, очень трудно найти надлежащий набор данных с помощью вышеуказанных подходов для специальных специализированных задач, таких как медицинская помощь или другие частные вопросызадачи, связанные с медициной. Для решения этой задачи предлагается два типа методов: синтез данных и поиск данных.

Одним из наиболее часто используемых методов является аугментация существующего набора данных. Для данных изображений существует множество [[Практики реализации нейронных сетей | операций аугментации]], таких как обрезка, поворот, изменение размера и т.д.<br>

Плюс ко всему, одним из распространенных методов является Генеративно-Состязательные Сети[[Generative Adversarial Nets (GAN)| порождающие состязательные сети]], которые, в основном, применяются для генерации картинок и текстов.

Так как интернет является неисчерпаемым источником данных, поиск веб-данных {{- --}} это интуитивно понятный способ сбора наборов данных. Тем не менее, есть некоторые проблемы с использованием данных, полученных таким образом.<br>

Во-вторых, веб-данные могут быть неправильно размечены или не размечены вовсе. Для решения этой проблемы часто используется метод self_labelingиспользуются self-labeling методы. К примеру, метод один из таких методов [[Активное обучение | активного обучения ]] выбирает наиболее "неопределенные" неразмеченные отдельные примеры для разметки вручную, а затем итеративно размечаются оставшиеся данные. Чтобы полностью устранить потребность в разметке данных вручную и еще больше ускорить этот процесс, предлагается множество методов self-labeling саморазметки [[Обучение с частичным привлечением учителя | с частичным привлечением учителя]].<br>Однако, имеет также место быть существует проблема того, что наш датасет набор данных не сбалансирован. Решением этой проблемы является, к примеру, [[Алгоритмы сэмплирования | алгоритм SMOTE]], который помогает синтезировать новые данные, которые будут относиться к миноритарным классам, а также уменьшать количество данных, относящихся к мажоритарным классам.

После того, как необработанные данные были собраны, они должны быть предварительно обработаны, чтобы удалить избыточные, неполные или неправильные данные. Например, распространенными типами ошибок в полученных датасетах наборах данных являются пропущенные значения и неправильные типы данных. Типичными операциями, используемыми для обработки данных, являются стандартизация, масштабирование, бинаризация количественных характеристик и замена недостающих значений средними значениями.<br>При работе с картинками, может быть возникнуть проблема, что картинка имеет неверную метку. В таких случаях применимы такие методы, как self-labelingсаморазметки. Тем не менее, процесс обработки данных обычно должен быть определен заранее вручную, потому что разные методы могут иметь различные требования, даже для одного и того же набора данных. Например, нейронная сеть может работать только с числовыми данными, в то время как методы, основанные на деревьях принятия решений, могут работать как с числовыми, так и с категориальными данными.

== Разработка Конструирование признаков ==Разработка Конструирование признаков состоит из трёх подэтапов: выбор признаков (англ. feature selection), извлечение признаков (англ. feature extraction) и построение признаков (англ. feature construction). Извлечение и построение признаков {{- --}} это варианты преобразования, с помощью которых создается новый набор признаков. Во многих случаях, целью feature extraction извлечения признаков является [[Уменьшение размерности | уменьшение исходной размерности ]] путём применения некоторых функций отображения, в то время как feature construction построение признаков используется для расширения исходного пространства признаков. Цель feature selection выбора признаков состоит в том, чтобы уменьшить избыточность признаков путем выбора наиболее важных из них. В итоге, суть автоматической разработки автоматического конструирования признаков в некоторой степени заключается в динамическом сочетание сочетании этих трех принципов.

[[Файл:2_automlautoml_2.png|300px|right|thumb|Рис. 2: Итерационный процесс выбора признаков. Подмножество признаков выбирается на основе стратегии поиска, а затем оценивается. После этого выполняется процедура валидации, чтобы определить, является ли полученное подмножество валидным. Описанные выше шаги повторяются до того момента, пока не будет достигнут критерий остановки.]]Feature selection строит При [[Уменьшение_размерности#Выбор признаков|выборе признаков]] строится подмножество объектов на основе исходного набора объектов путем сокращения нерелевантных или избыточных признаков. Это, как правило, упрощает модель, таким образом, избегая переобучения и улучшая производительность модели. Выбранные объекты обычно расходятся и сильно коррелируют со значениями объектов.<br>Стратегия поиска для feature selection выбора признаков включает в себя три типа алгоритмов: полный поиск, эвристический поиск и случайный поиск.<br>Методы оценки получившихся подмножеств можно разделить на три основные категории. <br>Первая {{---}} это метод фильтрации, который оценивает каждый признак в соответствии с его дивергенцией или корреляцией, а затем выбирает признаки в соответствии с установленным порогом. Обычно для каждого признака используются такие методы оценки, как <i>дисперсия, коэффициент корреляции и критерий хи-квадрат.</i><br>Вторая {{---}} метод обертки, который классифицирует выборку с выбранным подмножеством признаков, после чего точность классификации используется в качестве меры для измерения качества подмножества признаков.<br>Третий {{---}} это embedded-метод, в котором выбор осуществляется в процессе обучения. Пример embedded-методов - <i>регуляризация и дерево принятия решений.</i>

Это процесс создания новых признаков из исходного пространства или необработанных данных с целью улучшения качества и обощаемой обобщаемой способности модели. Этот процесс сильно зависит от человеческого опыта, и одним из наиболее часто используемых методов являются препроцессинговые преобразования, такие как стандартизация, нормализация или дискретизация признаков. Кроме того, операции преобразования для различных типов признаков могут отличаться. Например, такие операции, как конъюнкция, дизъюнкция и отрицание, обычно используются для булевых бинарных признаков; такие операции, как минимум, максимум, сложение, вычитание, среднее значение, обычно используются для числовых признаков.<br>

Это процесс уменьшения размерности пространства признаков путем применения некоторых функций отображения.Он извлекает наиболее информативные признаки с учетом выбранных метрик. В отличие от feature selectionвыбора признаков, feature extraction извлечение признаков изменяет исходные признаки. Главной частью feature extraction извлечения признаков является функция отображения, которая может быть реализована многими способами. Наиболее распространенными подходами является являются [[Метод главных компонент (PCA)| метод главных компонент (PCA)]], метод независимых компонент (ICA), [[Стохастическое вложение соседей с t-распределением | t-SNE]], isomap, нелинейное уменьшение размерности.

После генерации конструирования признаков нам нужно сгенерировать модель и задать ее гиперпараметры. Как показано на Рис. 1, генерация модели состоит из двух этапов: [[Модель алгоритма и её выбор | выбора модели]] и [[Настройка гиперпараметров | оптимизации гиперпараметров]]. <br><br>

В основе [[Модель алгоритма и её выбор#Автоматизированный выбор модели в библиотеке Tree-base Pipeline Optimization Tool (TPOT ) для Python. | TPOT]] лежит эволюционный алгоритм поиска для нахождения параметров лучшей модели и лучших модельных ансамблейодновременной оптимизации её гиперпараметров. TPOT пытается создать конвеерПредставляет собой надстройку над scikit-learn<ref>[https://scikit-learn.org/stable/ Библиотека scikit-learn]</ref>, оценивает его производительность и случайным образом изменяет части конвеера при этом в поиске наибольшей эффективности. У TPOT займет некоторое время, чтобы работать на достаточно больших наборах данных, данную библиотеку также включены собственные алгоритмы регрессии и очень важно понять, почему. С настройками TPOT по умолчанию (100 поколений с размером популяции 100) TPOT оценит 10000 конфигураций конвеера до завершенияклассификации. Чтобы понятьВ мае 2020 года вышла версия, насколько это много, подумайте о grid search из 10000 комбинаций гиперпараметров в которую был добавлен модуль для алгоритма машинного обучения и о том, сколько времени займет этот поиск. Это 10000 конфигураций модели для оценки работы с 10-fold кросс-валидацией, что означает, что примерно 100000 моделей подходят и оцениваются нейронными сетями на обучающих основе PyTorch<ref>[https://pytorch.org/ Библиотека PyTorch]</ref>.Время работы TPOT сильно зависит от размера входных данных в одном grid search. Поэтому, для некоторых наборов Не поддерживает обработку естественного языка и категориальных данных требуется всего несколько минут, чтобы найти высокопроизводительную модель для работы, а некоторым может потребоваться несколько дней. 

Данный способ [[Модель алгоритма и её выбор#Автоматизированный выбор модели в библиотеке auto-WEKA для Java | Auto-WEKA]] позволяет нам одновременно выбирать лучшую модель и настраивать ее гиперпараметры. На рис.3 показаны 28 базовых алгоритмов, 7 мета-алгоритмов и 2 ансамблевых Для этого процесса используется алгоритм [[Настройка гиперпараметров#Последовательная конфигурация алгоритма. При автоматическом выборе на основе модели, они пробуются все, и выбирается один лучший с уже настроенными гиперпараметрами. Время работы алгоритма достаточно долгое, потому что нам нужно перебрать все возможные алгоритмы и для каждого из них настроить его гиперпараметры.{|align="center" |-valign="top" |[[Файл:3_automl.png|400px|thumb|Рис. 3: Алгоритмы и методы, которые поддерживаются Auto-WEKA и количество их гиперпараметров соответственно. Все алгоритмы и методы используются для задач классификации, помеченные звёздочков - также для задач регрессии.SMAC]] |[[Файл:4_automl.png|thumb|Рис. 4: Алгоритмы и методы, которые поддерживаются AutoИз-sklearn за перебора всех возможных моделей и количество их гиперпараметров соответственно]]алгоритм работает довольно долго. |}

Так же, как В [[Модель алгоритма и её выбор#Автоматизированный выбор модели в библиотеке auto-sklearn для Python | Auto-WEKAsklearn]] реализован автоматический выбор лучшего алгоритма из представленных в scikit-learn, а также настройка его гиперпараметров. Для улучшения обобщающей способности используются [[Уменьшение размерности#Другие методы|ансамбли]] из моделей, которые были получены в ходе оптимизации. В Auto-sklearn мы можем автоматически выбрать лучшую модель из тех, что поддерживаютсяприменяются идеи [[Мета-обучение|мета-обучения]], которые позволяют выделять похожие датасеты и использовать знания о них. === Auto-sklearn 2.0 === Auto-sklearn 2.0 является улучшенной версией библиотеки auto-sklearn. В обновленном варианте пакета каждый pipeline способен совершать раннюю остановку и сохранять результаты промежуточных вычислений. Это изменение кардинально улучшило производительность и сразу настроить ее гиперпараметрыкачество работы. <br>На рисСледующим нововведением стало ограничение множества алгоритмов, в котором производится перебор, до моделей, которые можно обучать итеративно, в частности, методы, основанные на деревьях решений.4 показаноИзменился подход к мета-обучению, что предыдущая версия библиотеки использовала мета-признаки для определения схожих между собой датасетов. В Auto-sklearn поддерживает 15 алгоритмов 2.0 реализован другой подход, было создано единое портфолио лучших решений для различных датасетов. Был добавлен автоматический выбор стратегии подбора наилучшей модели. === Auto-Keras ===Открытая библиотека для автоматизированного подбора архитектуры модели, которая использует в своей основе scikit-learn, PyTorch и у каждого из них свое количество гиперпараметровKeras<ref>[https://keras. io/ Библиотека Keras]<br/ref>Сначала используется мета. Библиотека параллельно использует CPU и GPU, а также адаптируется под лимиты памяти, за счёт чего обладает высокой производительностью. Auto-Keras показывает высокие результаты близкие к [[Автоматическое машинное обучение #Google Cloud AutoML | Google AutoML]], однако в отличии от продукта Google является бесплатной.Идея библиотеки в том, чтобы исследовать пространство поиска архитектур с помощью алгоритма байесовской оптимизации. Алгоритм поиска нейросетевой архитектуры состоит из трех повторяющихся шагов: обновление, генерация и наблюдение. Обновлением называется обучение гауссовского процесса на основе различных имеющихся данных. На этапе генерации создаётся новая архитектура через оптимизацию функции исследования. В качестве наблюдения записываются результаты новой архитектуры. === MLBox ===Мощная библиотека для автоматического машинного обучения, разработанная для Python. Реализует быстрое чтение, распределенную предобработку данных, выбор признаков и мета-признаков набора данных, чтобы найти наилучшие оптимизацию гиперпараметров в многомерном пространстве, современные предсказательные моделиклассификации и регрессии. === TransmogrifAI ===AutoML библиотека написанная на SCALA работающая поверх Apache Spark. После этого используется подход байесовской оптимизацииОна разработана с упором на повышение производительности разработки за счёт проверки типов во время компиляции, чтобы найти лучшие гиперпараметры для выбранных их переиспользования и модульности. Обеспечивает быстрое обучение моделейс минимальной ручной настройкой. 

После того, как новая нейронная сеть модель была сгенерирована, ее производительность должна быть оценена. Интуитивный метод состоит в том, чтобы обучить сеть сходиться, а затем оценить ее производительность. Однако этот метод требует значительных временных и вычислительных ресурсов. Для ускорения процесса оценки модели было предложено несколько алгоритмов, которые приведены ниже.=== Низкая точность (англ. Low fidelity ) ===

Во-первых, В случае обработки изображений может быть уменьшено их количество изображений, или их разрешение (в терминах задач классификации изображений). <br>Во-вторыхТакже, оценка модели может быть реализована путем уменьшения размера модели, например, путем обучения с меньшим количеством фильтров на слой.=== Суррогатный метод (англ. Surrogate method) ===Суррогатный метод {{--- }} это еще один мощный инструмент, который аппроксимирует black-box функцию. В общем случае, как только получено хорошее приближение, задача найти конфигурации, которые непосредственно оптимизируют исходную дорогостоящую цель, становится тривиальной. К примеру, [https://arxiv.org/abs/1712.00559 прогрессивный поиск оптимизации нейронной сети (PNAS) ] вводит суррогатную модель для управления методом поиска. Хотя было доказано, что [https://towardsdatascience.com/illustrated-efficient-neural-architecture-search-5f7387f9fb6 эффективный поиск нейронной сети (ENAS) очень эффективен] показывает высокую производительность, PNAS еще более эффективен, поскольку число моделей, оцениваемых PNAS, более чем в пять раз превышает число моделей, оцениваемых ENAS, и PNAS в восемь раз быстрее с точки зрения общей вычислительной скорости. Однако, когда пространство оптимизации слишком велико и трудно поддается количественной оценке, а оценка каждой конфигурации чрезвычайно дорогостоящая, суррогатный метод неприменим.=== Ранняя остановка (англ. Early stopping ) ===Метод ранней остановки впервые был применен для избежания [[Переобучение | переобучения ]] в классических задачах машинного обучения. Он используется для ускорения оценки модели путем остановки оценивания, которое, как предполагается, плохо работает на валидационном наборе.=== Оптимизация ресурсов (англ. Resource-aware ) ===

* число параметров,* число операций умножения-накопления (MAC),* число операций с плавающей точкой (FLOP),