Изменения

== Методы, основанные на байесовской оптимизации Последовательная оптимизация по модели ==

'''Методы, основанные на байесовской оптимизацииПоследовательная оптимизация по модели''' (англ. ''Sequential Model-Based Optimization, SMBO'') используются когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

* Gaussian ProcessesГауссовские процессы* Tree Parzen Estimators (TPE)Древовидный парзеновский оценщик* Random Forest RegressionsРегрессия случайного леса

=== Древовидная структура Парзена Древовидный парзеновский оценщик ===

'''Древовидная структура Парзена''' (англ. ''Tree-structured Parzen Estimator, TPE'') Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае '''древовидного парзеновского оценщика''' (англ. ''Tree-structured Parzen Estimator, TPE''), используется следующая функция:

'''Последовательная конфигурация алгоритма на основе модели''' (англ. ''Sequential Model-based Algorithm Configuration, SMAC'') использует регрессию случайного леса (англ. ''Random Forest Regression'') и расширяет подходы SMBO:

* Random Forest RegressionsSMBO: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]* Tree Parzen EstimatorsTPE: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]* Gaussian ProcessesГауссовские процессы: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]