Предварительная обработка данных

Типизация признаков

Преобразование числа

Обычно с числами довольно удобно работать и преобразовывают их достаточно редко.

Дискретизация

• Преобразование в порядковый признак. (берём в числах диапазоны и диапазонам сопоставляем категории)
• Преобразование в категориальный признак. (НО теряется информация о порядке)

Преобразование порядкового типа

рис.1 Преобразование порядкового типа в 3 категории A, B, C : (A<B<C)

• Преобразование в число(берём его порядковый номер)
• Преобразование в k бинарных категорий(если число значений конечно и равно k):

[math]c_i(ord) := (ord \lt ord_i), где [/math]{[math]ord_1, ..., ord_k[/math]} - множество значений порядкового признака.(см. рис.1)

Преобразование категории

рис.2 Преобразование небинарной категории в бинарную (A<B<C)

• Бинарную категорию можно преобразовать в число: [math]c_1 \Rightarrow 0, c_2 \Rightarrow 1[/math] или [math]c_1 \Rightarrow -1, c_2 \Rightarrow +1[/math]
• Категорию из k значений {[math]c_1, ..., c_k[/math]} можно бинаризовать получив k бинарных категорий:[math]b_i(c) := (c = c_i)[/math](см. рис.2)(НО обратное преобразование иногда невозможно(получим много true и не понятно, к какой категории относить))
• One-hot encoding - преобразование категорий в числа (0, 1): one-hot[math]_i(c) = [c = c_i][/math]

Нормализация данных

Набор данных содержит в себе единицы измерения, которые отбрасываются, чтобы набор данных был просто числами. Но чтобы далее работать, нам нужно, чтобы все объекты были приведены к единому формату. Подробнее читай тут

Аномалии в наборе данных

Аномалии - плохие объекты для построения нашей модели.

Задача поиска аномалий является отдельной задачей машинного обучения, про которую можно почитать здесь

Пропуски в наборе данных

Иногда в таблице с данными существую пустоты(они же пропуски), про работу с пропусками можно почитать тут