Предварительная обработка данных — различия между версиями
(Новая страница: «Процесс подготовки данных для дальнейшего анализа называется '''предобработка''' = Норма…») |
м (rollbackEdits.php mass rollback) |
||
| (не показано 18 промежуточных версий 3 участников) | |||
| Строка 1: | Строка 1: | ||
| − | + | = Типизация признаков = | |
| + | == Преобразование числа == | ||
| + | Обычно с числами довольно удобно работать и преобразовывают их достаточно редко. | ||
| − | + | '''Дискретизация''' | |
| − | + | * Преобразование в порядковый признак. (берём в числах диапазоны и диапазонам сопоставляем категории) | |
| − | + | * Преобразование в категориальный признак. ('''НО''' теряется информация о порядке) | |
| − | |||
| − | == | + | == Преобразование порядкового типа == |
| − | + | [[File:Преобразование_порядкового_типа_в_k_категорий.png|250px|thumb|рис.1 Преобразование порядкового типа в 3 категории A, B, C : (A<B<C)]] | |
| − | + | * Преобразование в число(берём его порядковый номер) | |
| − | ( | + | * Преобразование в k бинарных категорий(если число значений конечно и равно k): |
| − | + | <tex>c_i(ord) := (ord < ord_i), где </tex>{<tex>ord_1, ..., ord_k</tex>} - множество значений порядкового признака.(см. рис.1) | |
| − | <tex> | ||
| − | + | == Преобразование категории == | |
| + | [[File:Преобразование_небинарной_категории_в_бинарную.png|250px|thumb|рис.2 Преобразование небинарной категории в бинарную (A<B<C)]] | ||
| + | * Бинарную категорию можно преобразовать в число: <tex>c_1 \Rightarrow 0, c_2 \Rightarrow 1</tex> или <tex>c_1 \Rightarrow -1, c_2 \Rightarrow +1</tex> | ||
| + | * Категорию из k значений {<tex>c_1, ..., c_k</tex>} можно '''бинаризовать''' получив k бинарных категорий:<tex>b_i(c) := (c = c_i)</tex>(см. рис.2)('''НО''' обратное преобразование иногда невозможно(получим много true и не понятно, к какой категории относить)) | ||
| + | * One-hot encoding - преобразование категорий в числа (0, 1): one-hot<tex>_i(c) = [c = c_i]</tex> | ||
| − | + | = Нормализация данных = | |
| − | |||
| − | + | Набор данных содержит в себе единицы измерения, которые отбрасываются, чтобы набор данных был просто числами. Но чтобы далее работать, нам нужно, чтобы все объекты были приведены к единому формату. Подробнее читай [http://neerc.ifmo.ru/wiki/index.php?title=Нормализация_набора_данных тут] | |
| − | + | = Аномалии в наборе данных = | |
| − | + | Аномалии - плохие объекты для построения нашей модели. | |
| − | + | Задача поиска аномалий является отдельной задачей машинного обучения, про которую можно почитать [http://neerc.ifmo.ru/wiki/index.php?title=поиск_аномалий здесь] | |
| − | |||
| − | |||
| − | // | ||
| − | |||
| − | == | + | = Пропуски в наборе данных = |
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | + | Иногда в таблице с данными существую пустоты(они же пропуски), про работу с пропусками можно почитать [http://neerc.ifmo.ru/wiki/index.php?title=Работа_с_пропусками_в_наборе_данных тут] | |
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | = | ||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
Текущая версия на 19:30, 4 сентября 2022
Содержание
Типизация признаков
Преобразование числа
Обычно с числами довольно удобно работать и преобразовывают их достаточно редко.
Дискретизация
- Преобразование в порядковый признак. (берём в числах диапазоны и диапазонам сопоставляем категории)
- Преобразование в категориальный признак. (НО теряется информация о порядке)
Преобразование порядкового типа
- Преобразование в число(берём его порядковый номер)
- Преобразование в k бинарных категорий(если число значений конечно и равно k):
{} - множество значений порядкового признака.(см. рис.1)
Преобразование категории
- Бинарную категорию можно преобразовать в число: или
- Категорию из k значений {} можно бинаризовать получив k бинарных категорий:(см. рис.2)(НО обратное преобразование иногда невозможно(получим много true и не понятно, к какой категории относить))
- One-hot encoding - преобразование категорий в числа (0, 1): one-hot
Нормализация данных
Набор данных содержит в себе единицы измерения, которые отбрасываются, чтобы набор данных был просто числами. Но чтобы далее работать, нам нужно, чтобы все объекты были приведены к единому формату. Подробнее читай тут
Аномалии в наборе данных
Аномалии - плохие объекты для построения нашей модели.
Задача поиска аномалий является отдельной задачей машинного обучения, про которую можно почитать здесь
Пропуски в наборе данных
Иногда в таблице с данными существую пустоты(они же пропуски), про работу с пропусками можно почитать тут
