Кросс-валидация

Кросс-валидация или скользящий контроль это процедура оценивания обобщающей способности алгоритмов. С помощью кросс-валидации эмулируется наличие тестовой выборки, которая не участвует в обучении, но для которой известны правильные ответы.

Разновидности Кросс-валидации

Hold-out Validation

Обучающая выборка разбивается на две части [math] T^l = T^t \cup T^{l-t} [/math]

[math] HO(\mu, T^t, T^{l-t}) = Q(\mu(T^t), T^{l-t}) \to min [/math]

Алгоритм кросс-валидации

1. Обучающая выборка разбивается на [math] k [/math] непересекающихся одинаковых по объему частей;
2. Производится [math] k [/math] итераций. На каждой итерации происходит следующее:
   1. Модель обучается на [math] k - 1 [/math] части обучающей выборки;
   2. Модель тестируется на части обучающей выборки, которая не участвовала в обучении;
3. В результате можно посчитать различные метрики, показывающие, насколько модель удачная, например, среднюю ошибку на частях, которые не участвовали в обучающей выборке.

См. также

• Модель алгоритма и ее выбор
• Мета-обучение^{[на 16.01.19 не создан]}

Примечания

1. Кросс-валидация
2. Автоматизированный выбор модели в библиотеке WEKA для Java
3. Автоматизированный выбор модели в библиотеке TPOT для Python
4. Автоматизированный выбор модели в библиотеке sklearn для Python

Источники информации

1. Скользящий контроль - статья на MachineLearning.ru
2. Применение обучения с подкреплением для одновременного выбора модели алгоритма классификации и ее структурных параметров