Предварительная обработка данных

Базовые методы нормализации данных

Применяются независимо к столбцу X

Важно в sklearn.preprocessing есть метод normalize, но это не то, что нам нужно, он рассматривает нормализацию с геометрической точки зрения (представляет объект в виде вектора), а не по столбцам

Минмакс, [0;1] масштабирование $x_{new} = \dfrac{x_{old} - \min[X]}{\max[X] - \min[X]}$

После нормализации: $\min[X_{new}] = 0$ и $\max[X_{new}] = 1$

Стандартизация, Z-масштабирование $x_{new} = \dfrac{x_{old} - \mathbb{E}[X]}{\mathbb{D}[X]}$

После нормализации: $\mathbb{E}[X_{new}] = 0$ и $\mathbb{D}[X_{new}] = 1$

Декорреляция

1. Есть матрица X.

2. Матрицу центрировали ($\mathbb{E}[X_j] = 0$).

3. Ковариация вычисляется по следующей формуле:

$\Sigma(X) = \dfrac{1}{N}X^TX$

4. Если же матрица нормализована так, что $\mathbb{D}[X_j] = 1$, то из произведения мы получим не ковариационную, а корреляционную матрицу

5. Декорреляция вычисляется по формуле:

$\hat{X} = X \times \sum^{-1/2}(X)$

где $\Sigma^{1/2}$ находится из разложения Холецкого

Утверждение:

После декорреляции: $\sum(\hat{X}) = I$

$\triangleright$

$\Sigma = \dfrac{X^TX}{n}$ $\hat{X} = X \times \Sigma^{-1/2}$ $\dfrac{\hat{X}^T\hat{X}}{n} = \dfrac{(X * \Sigma^{-1/2})^T * (X * \Sigma^{-1/2})}{n} = \dfrac{\Sigma^{-T/2} * X^T * X * \Sigma^{-1/2}}{n} = = (\Sigma^{-T/2} * \Sigma^{T/2})*(\Sigma^{1/2}*\Sigma^{-1/2}) = I * I = I$.

$\triangleleft$