Изменения

Перейти к: навигация, поиск

Переобучение

11 байт добавлено, 30 январь
Нет описания правки
'''Переобучение''' (англ. overfitting) {{---}} негативное явление, возникающее, когда алгоритм обучения вырабатывает предсказания, которые слишком близко или точно соответствуют конкретному набору данных, и поэтому не подходят для применения алгоритма к дополнительным данным или будущим наблюдениям.
'''Недообучение''' (англ. underfitting) {{---}} негативное явление, при котором алгоритм обучения не обеспечивает достаточно малой величины средней ошибки на обучающей выборке. Недообучение возникает при использовании недостаточно сложных моделей.
|}
Как видно из Рис . 1, данные не поддаются линейной зависимости при небольшой степени полинома, и по этой причине модель, представленная на данном рисунке, не очень хороша.
На Рис . 2 представленна ситуация, когда выбранная полиномиальная функция подходит для описания исходных данных.
Рис . 3 иллюстрирует случай, когда высокая степень полинома ведет к тому, что модель слишком заточена на данные обучающего датасета.
=== На примере [[Логистическая регрессия | логистической регрессии]] ===
Представьте задачу классификации размеченых точек. Красные точки представляют данные класса 1. Голубые круглые точки {{- --}} класса 2. Синии линии являются представлением различных моделей, которыми производится классификация данных.
{|align="center"
|[[Файл:High_variance_cla.png|200px|thumb|Рис 6. Переобучение]]
|}
Рис . 4 показывает результат использования слишком простой модели для представленного датасета. Как видно из рисунка, данные плохо классифицируются такой моделью.
При выявлении недообучения, следует выбрать более сложную модель (Рис . 5), которая бы смогла лучше описать представленные данные.
Выбор слишком сложной модели приводит к ситуации, когда модель максимально точно классифицирует обучающую выборку, но сильно ошибается на новых измерениях. Данная ситуация представлена на Рис . 6.
== Кривые обучения ==
'''Кривая обучения''' {{---}} графическое представление того, как изменение меры обученности (по вертикальной оси) зависит от определенной еденицы единицы измерения опыта (по горизонтальной оси)<ref>[https://en.wikipedia.org/wiki/Learning_curve Learning curve, Wikipedia]</ref>. Например, в примерах ниже представлена зависимость средней ошибки от объема датасета.
=== Кривые обучения при переобучении ===
'''Bias''' {{---}} ошибка неверных предположений в алгоритме обучения. Высокий '''bias''' может привести к недообучению.
'''Variance''' {{---}} это ошибка, вызванная большой чувствительностью к небольшим отклонениям в тренировочном наборе. Высокая дисперсия может привести к переобучению.
{|align="center"
===Дилемма bias–variance ===
'''Дилемма bias–variance''' {{- --}} конфликт в попытке одновременно минимизировать '''bias''' и '''variance''', тогда как уменьшение одного из негативных эффектов, приводит к увеличению другого. Данная дилемма проиллюстрирована на Рис 10.
{|align="center"
|}
При небольшой сложности модели мы наблюдаем '''high bias'''. При усложнении модели '''bias''' уменьшается, но '''variance''' увеличиетсяувеличится, что приводит к проблеме '''high variance'''.
== Возможные решения ==
=== Возможные решения при переобучении ===
* Увеличение количества данных в наборе;* Уменьшение количества параметров модели;* Добавление регуляризации / увеличение коэффициента регуляризации.
=== Возможные решения при недообучении ===
* Добавление новых параметров модели;* Использование для описания модели функций с более высокой степенью ;* Уменьшение коэффициента регуляризации.
== См. также ==
77
правок

Навигация