Изменения

==== Основная информация ==== SMBO являются формализацией (Sequential Model-Based Optimization) - методы, основанные на байесовской оптимизации Когда используют SMBO? <br>Когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO - замена целевой функции "суррогатной" функцией.

На каждом шаге работы SMBO: # SMBO выбирает текущий набор гиперпараметров на основе предыдущих результатов и Байесовский рассужденийСтроится вероятностная модель (суррогатная функция) целевой функции. Делается это # Подбираются гиперпараметры, которые лучше всего подходят для тоговероятностной модели.# Подобранные гиперпараметры применяются к целевой функции.# Вероятностная модель перестраивается (обновляется).# Шаги 2-4 повторяются столько раз, чтобы сузить сколько задал пользователь.  Существует четыре ключевые аспекта SMBO:* Сетка значений гиперпараметров (область поиска и сосредоточиться на том).* Целевая функция (выводит оценку, что наиболее перспективнокоторую мы хотим минимизировать или максимизировать).* Вероятностная модель целевой функции (суррогатная функция).# происходит запуск * Критерий, называемый функцией выбора (для выбора следующих гиперпараметры по текущей вероятностной модели с текущими гиперпараметрами# обновляется вероятностная модель).

Существует несколько вариантов Методы SMBO оптимизации, которые отличаются между собой в 3 вероятностными моделями и 4 пунктахфункциями выбора: есть различные варианты построения вероятностной модели целевой функции и выбора критерия.<br>Вероятностные Популярные вероятностные модели (3 пунктсуррогатные функции): * Gaussian Processes, Random Forest Regressions, and * Tree Parzen Estimators (TPE).Популярный критерий (4 пункт): Expected Improvement* Random Forest Regressions