Изменения

=== Контроль на отложенных данных (Hold-out Out Validation ) === Обучающая выборка один раз случайным образом разбивается на две части <tex> T^l = T^t \cup T^{l-t} </tex> После чего решается задача оптимизации:  <tex>HO(\mu, T^t, T^{l-t}) = Q(\mu(T^t), T^{l-t}) \to min </tex> Метод Hold-out применяется в случаях больших датасетов, т.к. требует меньше вычислительных мощностей по сравнению с другими методами кросс-валидации. Недостатком метода является то, что оценка существенно зависит от разбиения, тогда как желательно, чтобы она характеризовала только алгоритм обучения. === Полная кросс-валидация (CVV) ===# Выбирается значение <tex>t</tex># Выборка разбивается всеми возможными способами на две части <tex> T^l = T^t \cup T^{l-t} </tex> После чего решается задача оптимизации: <tex>CVV_t = \frac{1}{C_l^{l-t}} \displaystyle\sum_{T^l = T^t \cup T^{l-t}} Q(\mu(T^t), T^{l-t}) \to min </tex>

<tex> HO(\mu, T^t, T^{l=== k-t}) fold Кросс-валидация === Q(\mu(T^t), T^{l-t}) \to min </tex>

== Алгоритм кросс-валидации ==# Обучающая выборка разбивается на <tex> k </tex> непересекающихся одинаковых по объему частей;<tex>T^l = F_1 \cup \dots \cup F_k, |F_i| \approx \frac{l}{k} </tex>

# Каждая из <tex>k</tex> частей единожды используется для тестирования. Как правило <tex>k = 10</tex> (5 в случае малого размера выборки) В результате можно посчитать различные метрики, показывающие, насколько модель удачная, например, среднюю ошибку на частях, которые не участвовали в обучающей выборке.

* [[Мета-обучение]]^{[на 1617.01.19 не создан]}