Изменения

[[Файл:KNeighborsClassifier_model.png|center|1000px]]

Grid search принимает на вход модель и различные значения гиперпараметров (сетку гиперпараметров). Далее, для каждого возможного сочетания значений гиперпараметров, метод считает ошибку и в конце выбирает сочетание, при котором ошибка минимальна.

Пример использования <code>GridSearch</code> из библиотеки scikit-learn:

[[Файл:KNeighborsClassifier_exmpl.png|center|1000px]]

* <code>best_estimator_</code> — лучшая модель

[[Файл:KNeighborsClassifier_param_array.png|center|1000px]] <br>

* Katib

* scikit-learn

Вместо полного перебора, Random grid search работает с некоторыми, случайным образом выбранными, комбинациями. На основе полученных результатов, происходит сужение области поиска.

Когда random grid search будет гораздо полезнее, чем grid search? В ситуации, когда гиперпараметров много, но сильно влияющих на конечную производительность алгоритма — мало.

* hyperopt

SMBO (Sequential Model-Based Optimization) — методы, основанные на байесовской оптимизации

* Random Forest Regressions

* Random Forest Regressions: SMAC

* Tree Parzen Estimators: Hyperopt

* Gaussian Processes: Spearmint, Scikit-optimize

TPE — Tree-structured Parzen Estimator (Древовидная структура Парзена)

<math> {p(x|y)} </math> — распределение гиперпараметров.

* Hyperopt

SMAC использует Random Forest regression и расширяет подходы SMBO:

* Выделяет бюджет на общее время, доступное для настройки алгоритма, а не на количество оценок функций.

* AutoML