Регуляризация - История изменений

Maintenance script: rollbackEdits.php mass rollback

2022-09-04T16:22:10Z

rollbackEdits.php mass rollback

194.26.192.187 в 05:21, 1 сентября 2022

2022-09-01T05:21:59Z

212.16.13.18: /* Градиентный спуск */

2021-04-05T02:57:40Z

‎Градиентный спуск

PaulKh в 16:49, 16 февраля 2020

2020-02-16T16:49:14Z

AnnaRodionova: /* Регуляризация в линейной регрессии */

2020-01-22T10:53:16Z

‎Регуляризация в линейной регрессии

AnnaRodionova: /* Регуляризация в линейной регрессии */

2020-01-22T10:52:42Z

‎Регуляризация в линейной регрессии

AnnaRodionova: /* Регуляризация в линейной регрессии */

2020-01-22T10:51:03Z

‎Регуляризация в линейной регрессии

AnnaRodionova: /* Регуляризация в линейной регрессии */

2020-01-22T10:50:43Z

‎Регуляризация в линейной регрессии

AnnaRodionova: /* Регуляризация в линейной регрессии */

2020-01-22T10:44:11Z

‎Регуляризация в линейной регрессии

AnnaRodionova: /* Метод опорных векторов */

2020-01-22T10:42:38Z

‎Метод опорных векторов

← Предыдущая		Версия 16:22, 4 сентября 2022
Строка 1:		Строка 1:
−	~~{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"~~
−	\|+
−	~~\|-align="center"~~
−	~~\|'''НЕТ ВОЙНЕ'''~~
−	~~\|-style="font-size: 16px;"~~
−	\|
−	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
−
−	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
−
−	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
−
−	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
−
−	~~''Антивоенный комитет России''~~
−	~~\|-style="font-size: 16px;"~~
−	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
−	~~\|-style="font-size: 16px;"~~
−	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
−	\|}
−
	{{Определение		{{Определение
	\|definition=		\|definition=

← Предыдущая		Версия 05:21, 1 сентября 2022
Строка 1:		Строка 1:
		+	{\| class="wikitable" align="center" style="color: red; background-color: black; font-size: 56px; width: 800px;"
		+	\|+
		+	\|-align="center"
		+	\|'''НЕТ ВОЙНЕ'''
		+	\|-style="font-size: 16px;"
		+	\|
		+	24 февраля 2022 года российское руководство во главе с Владимиром Путиным развязало агрессивную войну против Украины. В глазах всего мира это военное преступление совершено от лица всей страны, всех россиян.
		+
		+	Будучи гражданами Российской Федерации, мы против своей воли оказались ответственными за нарушение международного права, военное вторжение и массовую гибель людей. Чудовищность совершенного преступления не оставляет возможности промолчать или ограничиться пассивным несогласием.
		+
		+	Мы убеждены в абсолютной ценности человеческой жизни, в незыблемости прав и свобод личности. Режим Путина — угроза этим ценностям. Наша задача — обьединить все силы для сопротивления ей.
		+
		+	Эту войну начали не россияне, а обезумевший диктатор. И наш гражданский долг — сделать всё, чтобы её остановить.
		+
		+	''Антивоенный комитет России''
		+	\|-style="font-size: 16px;"
		+	\|Распространяйте правду о текущих событиях, оберегайте от пропаганды своих друзей и близких. Изменение общественного восприятия войны - ключ к её завершению.
		+	\|-style="font-size: 16px;"
		+	\|[https://meduza.io/ meduza.io], [https://www.youtube.com/c/popularpolitics/videos Популярная политика], [https://novayagazeta.ru/ Новая газета], [https://zona.media/ zona.media], [https://www.youtube.com/c/MackNack/videos Майкл Наки].
		+	\|}
		+
	{{Определение		{{Определение
	\|definition=		\|definition=

@@ Строка 213: / Строка 213: @@
 :<tex>Q_{\tau}(w) = Q(w) + \dfrac{\tau}{2}\|w\|^2</tex>
 Это приводит к появлению аддитивной поправки в градиенте:
-:<tex>Q_{\tau}'(w) = Q′(w) + \tau</tex>
+:<tex>Q_{\tau}'(w) = Q′(w) + \tau w</tex>
 В результате правило обновления весов принимает вид:
 :<tex>w := w(1 - \eta \tau) - \eta Q'(w)</tex>

@@ Строка 1: / Строка 1: @@
 {{Определение
 |definition=
-'''Регуляризация''' (англ. ''regularization'') в статистике, машинном обучении, теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить неккоректно поставленную задачу или предотвратить переобучение. Чаще всего эта информация имеет вид штрафа за сложность модели.
+'''Регуляризация''' (англ. ''regularization'') в статистике, машинном обучении, теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Чаще всего эта информация имеет вид штрафа за сложность модели.
 }}

@@ Строка 122: / Строка 122: @@
 ==Регуляризация в линейной регрессии==
 В [[Линейная регрессия | линейной регрессии]] моделируется линейная зависимость между зависимой и независимой переменной. Каждому объекту $x \in X^l$ соответствует признаковое описание $(f_{1}(x),\dots,f_{n}(x))$, где $f_{j}:X \rightarrow \mathbb{R}$ {{---}} числовые признаки. Модель алгоритмов для линейной регрессии состоит из функций вида:
-:$g(x, \beta) = \sum\limits_{j}^n \beta_{j} f_{j}(x)$
+:$g(x, \beta) = \sum\limits_{j}^n \beta_{j} \,f_{j}(x)$
 В итоге оптимизируемый функционал эмпирического риска выглядит следующим образом:
 :$Q(a) = \|F\beta - y\|^2$,

@@ Строка 125: / Строка 125: @@
 В итоге оптимизируемый функционал эмпирического риска выглядит следующим образом:
 :$Q(a) = \|F\beta - y\|^2$,
-где $F = (f(x_{i}))_{l \times n}$ {{---}} матрица объекты-признаки, $y = (y_{i})_{l \times 1}$ {{---}} целевой вектор, $\beta = (\beta_{j})_{n \times 1}$ {{---}} вектор параметров.
+где $F = (f_{j}(x_{i}))_{l \times n}$ {{---}} матрица объекты-признаки, $y = (y_{i})_{l \times 1}$ {{---}} целевой вектор, $\beta = (\beta_{j})_{n \times 1}$ {{---}} вектор параметров.
 Приравняв нулю производную $Q(\beta)$ по параметру $\beta$, получаем:
 :$\beta^* = (F^TF)^{-1}F^Ty$

@@ Строка 241: / Строка 241: @@
 Также существуют разновидности SVM с другими регуляризаторами.
 * Метод релевантных векторов (англ. ''RVM, Relevance vector Machine''):
-:$\dfrac{1}{2}\sum\limits_{i=1}^l(\ln w_{i} + \dfrac{\lambda_{i}^2}{w_{i}})$
+:$\dfrac{1}{2}\sum\limits_{i=1}^l\left(\ln w_{i} + \dfrac{\lambda_{i}^2}{w_{i}}\right)$
 * Метод опорных векторов с лассо (англ. ''LASSO SVM''):
 :$\mu \sum\limits_{i=1}^n|w_{i}|$