Нормализация набора данных - История изменений

Maintenance script: rollbackEdits.php mass rollback

2022-09-04T16:32:26Z

rollbackEdits.php mass rollback

185.100.85.24 в 04:30, 1 сентября 2022

2022-09-01T04:30:07Z

Kirill112002 в 18:02, 29 июня 2022

2022-06-29T18:02:00Z

Kirill112002 в 17:56, 29 июня 2022

2022-06-29T17:56:20Z

Kirill112002 в 17:27, 29 июня 2022

2022-06-29T17:27:22Z

Kirill112002: Новая страница: «Применяются независимо к столбцу X Важно в sklearn.preprocessing есть метод normalize, но это не то, что…»

2022-06-29T17:23:29Z

Новая страница: «Применяются независимо к столбцу X Важно в sklearn.preprocessing есть метод normalize, но это не то, что…»

Новая страница

Применяются независимо к столбцу X

Важно в sklearn.preprocessing есть метод normalize, но это не то, что нам нужно, он рассматривает нормализацию с геометрической точки зрения
(представляет объект в виде вектора), а не по столбцам

'''Минмакс, [0;1] масштабирование'''
<tex> x_{new} = \dfrac{x_{old} - \min[X]}{\max[X] - \min[X]}</tex>

После нормализации: <math>\min[X_{new}] = 0</math> и <math>\max[X_{new}] = 1</math>

'''Стандартизация, Z-масштабирование'''
<tex> x_{new} = \dfrac{x_{old} - \mathbb{E}[X]}{\mathbb{D}[X]}</tex>

После нормализации: <math>\mathbb{E}[X_{new}] = 0</math> и <math>\mathbb{D}[X_{new}] = 1</math>

← Предыдущая		Версия 16:32, 4 сентября 2022
Строка 1:		Строка 1:
−	~~{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"~~
−	\|+
−	~~\|-align="center"~~
−	~~\|'''НЕТ ВОЙНЕ'''~~
−	~~\|-style="font-size: 16px;"~~
−	\|
−	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
−
−	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
−
−	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
−
−	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
−
−	~~''Антивоенный комитет России''~~
−	~~\|-style="font-size: 16px;"~~
−	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
−	~~\|-style="font-size: 16px;"~~
−	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
−	\|}
−
	Набор данных содержит в себе единицы измерения, которые отбрасываются, чтобы набор данных был просто числами. Но чтобы далее работать, нам нужно, чтобы все объекты были приведены к единому формату. С этим и помогает '''нормализация'''.		Набор данных содержит в себе единицы измерения, которые отбрасываются, чтобы набор данных был просто числами. Но чтобы далее работать, нам нужно, чтобы все объекты были приведены к единому формату. С этим и помогает '''нормализация'''.

← Предыдущая		Версия 04:30, 1 сентября 2022
Строка 1:		Строка 1:
		+	{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"
		+	\|+
		+	\|-align="center"
		+	\|'''НЕТ ВОЙНЕ'''
		+	\|-style="font-size: 16px;"
		+	\|
		+	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
		+
		+	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
		+
		+	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
		+
		+	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
		+
		+	''Антивоенный комитет России''
		+	\|-style="font-size: 16px;"
		+	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
		+	\|-style="font-size: 16px;"
		+	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
		+	\|}
		+
	Набор данных содержит в себе единицы измерения, которые отбрасываются, чтобы набор данных был просто числами. Но чтобы далее работать, нам нужно, чтобы все объекты были приведены к единому формату. С этим и помогает '''нормализация'''.		Набор данных содержит в себе единицы измерения, которые отбрасываются, чтобы набор данных был просто числами. Но чтобы далее работать, нам нужно, чтобы все объекты были приведены к единому формату. С этим и помогает '''нормализация'''.

@@ Строка 1: / Строка 1: @@
-Применяются независимо к столбцу X
+Набор данных содержит в себе единицы измерения, которые отбрасываются, чтобы набор данных был просто числами. Но чтобы далее работать, нам нужно, чтобы все объекты были приведены к единому формату. С этим и помогает '''нормализация'''.
 Важно в sklearn.preprocessing есть метод normalize, но это не то, что нам нужно, он рассматривает нормализацию с геометрической точки зрения
-(представляет объект в виде вектора), а не по столбцам
+(представляет объект в виде вектора), а не по столбцам.
@@ Строка 17: / Строка 19: @@
 = Декорреляция =
 [[File:Декорреляция.png|300px|thumb|рис.1 Декорреляция]]

@@ Строка 17: / Строка 17: @@
 = Декорреляция =
-[[File:Декорреляция.png|300px|thumb|рис3]]
+[[File:Декорреляция.png|300px|thumb|рис.1 Декорреляция]]
 . Есть матрица X.

← Предыдущая		Версия 17:27, 29 июня 2022
Строка 15:		Строка 15:

	После нормализации: <math>\mathbb{E}[X_{new}] = 0</math> и <math>\mathbb{D}[X_{new}] = 1</math>		После нормализации: <math>\mathbb{E}[X_{new}] = 0</math> и <math>\mathbb{D}[X_{new}] = 1</math>
		+
		+	= Декорреляция =
		+	[[File:Декорреляция.png\|300px\|thumb\|рис3]]
		+
		+	1. Есть матрица X.
		+
		+	2. Матрицу центрировали (<math>\mathbb{E}[X_j] = 0</math>).
		+
		+	3. Ковариация вычисляется по следующей формуле:
		+
		+	<tex>\Sigma(X) = \dfrac{1}{N}X^TX</tex>
		+
		+	4. Если же матрица нормализована так, что <math>\mathbb{D}[X_j] = 1</math>, то из произведения мы получим не ковариационную, а корреляционную матрицу
		+
		+	5. Декорреляция вычисляется по формуле:
		+
		+	<tex>\hat{X} = X \times \sum^{-1/2}(X)</tex>
		+
		+	где <tex>\Sigma^{1/2}</tex> находится из разложения Холецкого
		+
		+	{{Утверждение
		+	\|statement=После декорреляции: <tex>\sum(\hat{X}) = I</tex>
		+	\|proof=<tex>\Sigma = \dfrac{X^TX}{n}</tex>
		+
		+	<tex>\hat{X} = X \times \Sigma^{-1/2}</tex>
		+
		+	<tex>\dfrac{\hat{X}^T\hat{X}}{n} = \dfrac{(X \times \Sigma^{-1/2})^T \times (X \times \Sigma^{-1/2})}{n} = \dfrac{\Sigma^{-T/2} \times X^T \times X \times \Sigma^{-1/2}}{n} = (\Sigma^{-T/2} \times \Sigma^{T/2})\times(\Sigma^{1/2}\times\Sigma^{-1/2}) = I \times I = I</tex>.
		+	}}