Изменения

Перейти к: навигация, поиск

Предварительная обработка данных

801 байт убрано, 19:30, 4 сентября 2022
м
rollbackEdits.php mass rollback
== Преобразование порядкового типа ==
[[File:Преобразование_порядкового_типа_в_k_категорий.png|250px|thumb|рис1рис. 1 Преобразование порядкового типа в 3 категории A, B, C : (A<B<C)]]
* Преобразование в число(берём его порядковый номер)
* Преобразование в k бинарных категорий(если число значений конечно и равно k):
<tex>c_i(ord) := (ord < ord_i), где </tex>{<tex>ord_1, ..., ord_k</tex>} - множество значений порядкового признака.(см. рис1рис.1)
== Преобразование категории ==
[[File:Преобразование_небинарной_категории_в_бинарную.png|250px|thumb|рис2рис. 2 Преобразование небинарной категории в бинарную (A<B<C)]]
* Бинарную категорию можно преобразовать в число: <tex>c_1 \Rightarrow 0, c_2 \Rightarrow 1</tex> или <tex>c_1 \Rightarrow -1, c_2 \Rightarrow +1</tex>
* Категорию из k значений {<tex>c_1, ..., c_k</tex>} можно '''бинаризовать''' получив k бинарных категорий:<tex>b_i(c) := (c = c_i)</tex>(см. рис2рис.2)('''НО''' обратное преобразование иногда невозможно(получим много true и не понятно, к какой категории относить))
* One-hot encoding - преобразование категорий в числа (0, 1): one-hot<tex>_i(c) = [c = c_i]</tex>
= Нормализация данных =
Приведение Набор данных всех содержит в себе единицы измерения, которые отбрасываются, чтобы набор данных был просто числами. Но чтобы далее работать, нам нужно, чтобы все объекты были приведены к единому формату. Подробнее читай [http://neerc.ifmo.ru/wiki/index.php?title=Нормализация_набора_данных тут] = Декорреляция =[[File:Декорреляция.png|300px|thumb|рис3]] 1. Есть матрица X. 2. Матрицу центрировали (<math>\mathbb{E}[X_j] = 0</math>). 3. Ковариация вычисляется по следующей формуле: <tex>\Sigma(X) = \dfrac{1}{N}X^TX</tex> 4. Если же матрица нормализована так, что <math>\mathbb{D}[X_j] = 1</math>, то из произведения мы получим не ковариационную, а корреляционную матрицу 5. Декорреляция вычисляется по формуле: <tex>\hat{X} = X \times \sum^{-1/2}(X)</tex> где <tex>\Sigma^{1/2}</tex> находится из разложения Холецкого {{Утверждение|statement=После декорреляции: <tex>\sum(\hat{X}) = I</tex>|proof=<tex>\Sigma = \dfrac{X^TX}{n}</tex> <tex>\hat{X} = X \times \Sigma^{-1/2}</tex> <tex>\dfrac{\hat{X}^T\hat{X}}{n} = \dfrac{(X \times \Sigma^{-1/2})^T \times (X \times \Sigma^{-1/2})}{n} = \dfrac{\Sigma^{-T/2} \times X^T \times X \times \Sigma^{-1/2}}{n} = (\Sigma^{-T/2} \times \Sigma^{T/2})\times(\Sigma^{1/2}\times\Sigma^{-1/2}) = I \times I = I</tex>.}}
= Аномалии в наборе данных =
Аномалии - плохие объекты для построения нашей модели.
Задача поиска аномалий является отдельной задачей машинного обучения, про которую можно почитать [http://neerc.ifmo.ru/wiki/index.php?title=поиск_аномалий здесь]
1632
правки

Навигация