Изменения

= Откуда берутся пропуски? =

*Решаем задачу поиска аномалий для столбцов. Когда находим аномальное значение в столбце. Можно сказать, что это не аномалия, а ошибка и его можно пометить как пропуск

*Объединяем 2 набора данных (см. рис1). Из-за того, что эти наборы данных немного разные(в разных наборах данных были разные признаки) после объединения получатся пропуски.

Выделяют 3 подхода:

=== Общий подход: ===

Обучить модель, которая умеет учитывать пропуски, предсказывать значения текущего столбца.

=== Частный случай: ===

Заполнение средним арифметическим / модой

== Добавление ==

*Если признак категориальный - добавляем к нему новое значение "пропуск"(увеличиваем количество категорий на 1)

*Если признак числовой - добавляем новый бинарный признак, было ли данное значение пропущено, а само значение заменять методами описанными выше.

= Отказ алгоритмов =

= Задача предсказания и заполнения пропусков =

Задачу заполнения пропусков можно свести к задаче предсказания.

Есть набор данных, который условно разбит на train и test. Можно сказать, что значения test в столбце Y пропущены и вместо задачи обучения с учителем решать задачу заполнения пропусков.

В случае задачи обучения без учителя можно сказать, что все значения в столбце пропущены. (см. рис6)

= Рекомендательные системы =

'''Коллаборативная(совместная) фильтрация'''

Есть множество пользователей и множество предметов, которые эти пользователи оценивают. Нужно понять, как определённый пользователь оценит предмет, который до этого не оценивал. (см. рис7)

= Обучение на привилегированных данных =

Задача обучения с учителем, но к X даётся некоторый X', про который известно, что в тестовом множестве X' будет пропущен. (см. рис8)

= Обучение на частично размеченных данных =

В тренировачном множестве только часть объектов имеют значение целевой переменной Y, у остальных объектов тренировочного и тестового множества значение Y пропущено. (см. рис9)