Изменения

== Гиперпараметры Гиперпараметр ==

Гиперпараметры '''Гиперпараметр''' (англ. ''hyperparameter'') — параметрыпараметр, которые который не настраиваются настраивается во время обучения модели. Пример гиперпараметра — шаг градиентного спуска, он задается перед обучением. Пример параметров — веса градиентного спуска, они изменяются и настраиваются во время обучения.

* training set (тренировочный набор данных(англ. ''training set''), для обучении обучения модели) * validation set (валидационный набор данных(англ. ''validation set''), для расчета ошибки и выбора наилучшей модели)* test set (тестовый набор данных(англ. ''test set''), для тестирования лучшей выбранной модели)

== Grid search Поиск по сетке ==

'''Поиск по сетке''' (англ. ''Grid search '') принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

=== Поиск по сетке в Sklearn Grid search: использование ===

=== Поиск по сетке в Sklearn Grid search: важные атрибуты ===

=== Реализация Grid search поиска по сетке в библеотеках библиотеках ===* scikit-learn<ref>[https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html scikit-learn]</ref>* Katib<ref>[https://github.com/kubeflow/katib Katib]</ref>* Tune<ref>[https://tidymodels.github.io/tune/articles/grid.html Tune]</ref>* Talos<ref>[https://autonomio.github.io/docs_talos/#grid-search Talos]</ref>

== Random grid search Случайный поиск по сетке ==

Вместо '''Случайный поиск по сетке''' (англ. ''Random Grid Search'') вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search случайный поиск по сетке будет гораздо полезнее, чем grid searchпросто поиск по сетке? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

=== Реализация Random grid случайного поиска по сетке ===

* Ray<ref>[https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Ray]</ref>* [https://github.com/kubeflow/katib Katib]* [https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html scikit-learn]* [https://ray.readthedocs.io/en/latest/tune-searchalg.html#variant-generation-grid-search-random-search Tune]* [https://autonomio.github.io/docs_talos/#models Talos]* Hyperopt<ref>[https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]</ref>

== SMBO Последовательная оптимизация по модели ==

SMBO '''Последовательная оптимизация по модели''' (англ. ''Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации Когда используют SMBO? Когда '') используются когда оптимизация целевой функции будет стоить очень "дорого". Главная идея SMBO — замена целевой функции "суррогатной" функцией.

* Gaussian ProcessesГауссовские процессы* Tree Parzen Estimators (TPE)Древовидный парзеновский оценщик* Random Forest RegressionsРегрессия случайного леса

=== TPE Древовидный парзеновский оценщик ===

TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена) Как было написано выше, методы SMBO отличаются тем, как они строят вероятностную модель <math> {p(y|x)} </math>. В случае '''древовидного парзеновского оценщика''' (англ. ''Tree-structured Parzen Estimator, TPE''), используется следующая функция:

В TPE задается два различных распределения гиперпараметров: первое при значениях целевой функции меньших, чем пороговое значение. Второе - при значениях целевой функции больших, чем пороговое значение. === SMAC = Алгоритм ==== # На вход подается список пар (parameters, loss)# По заданному порогу, происходит разбиение списка на 2 части# Для каждого списка строится распределение# Возвращается значение: <math> argmin_{param} \frac{g(param)}{l(param)} </math> === Последовательная конфигурация алгоритма на основе модели ===

'''Последовательная конфигурация алгоритма на основе модели''' (англ. ''Sequential Model-based Algorithm Configuration, SMAC использует Random Forest regression и '') расширяет подходы SMBO:

* Random Forest RegressionsSMBO: [https://www.automl.org/automated-algorithm-design/algorithm-configuration/smac/ SMAC]* Tree Parzen EstimatorsTPE: [https://hyperopt.github.io/hyperopt/#algorithms Hyperopt]* Gaussian ProcessesГауссовские процессы: [https://devhub.io/repos/automl-spearmint Spearmint], [https://scikit-optimize.github.io/stable/modules/classes.html#module-skopt.optimizer Scikit-optimize]