Изменения

Перейти к: навигация, поиск

Регуляризация

4 байта добавлено, 21 январь
Нейронные сети
Регуляризация также используется и в [[Нейронные сети, перцептрон | нейронных сетях]] для борьбы со слишком большими весами сети и переобучением. Однако, в этом случае зануление коэффициентов при использовании $L_{1}$-регуляризатора не несет в себе смысл "отбора признаков", как в случае с линейными моделями. Регуляризация не снижает число параметров и не упрощает структуру сети.
Для нейронной сети помимо добавления штрафного слагаемого к эмпирическому риску используют и другой метод регуляризации {{---}} ''прореживание сети '' (англ. ''dropout''), в ходе которого упрощают сеть, руководствуясь правилом {{---}} если функция ошибки не изменяется, то сеть можно упрощать и дальше. Подробнее об этом можно почитать в статье, рассказывающей о [[Практики реализации нейронных сетей | практике реализации нейронных сетей]].
==См. также==
193
правки

Навигация