Модель алгоритма и её выбор

Понятие модели

Пусть дана обучающая выборка [math](X, T)[/math], где [math] X [/math] — множество значений признаков, [math] T [/math] — множество, содержащее для каждого элемента из X его классификацию.

Пусть множество всевозможных значений признаков [math] \hat{X} [/math], множество всевозможных классификаций [math] \hat{T} [/math].

Пусть задана функция [math] f: \hat{X} -\gt W -\gt \hat{T} [/math], где W - множество дополнительных параметров (весов) функции.

Описанная выше функция f для фиксированного значения весов [math] w \in W [/math] называется решающим правилом.

Модель — это совокупность всех решающих правил, которые получаются путем присваивания весам всех возможных допустимых значений.

Формально модель [math] M = \{f(., w)| w \in W\} [/math].

Модель определяется множеством допустимых весов [math] W [/math] и структурой решающего правила [math] f(.,.) [/math]

Понятие гиперпараметров модели

Гиперпараметры модели — это параметры, значения которых задается до начала обучения модели и не изменяется в процессе обучения. У модели может не быть гиперпараметров.

Параметры модели — это параметры, которые изменяются и оптимизируются в процессе обучения модели и итоговые значения этих параметров являются результатом обучения модели.

Примерами гиперпараметров могут служить количество слоев нейронной сети, а также количество нейронов на каждом слое. Примерами параметров могут служить веса ребер нейронной сети.

Для нахождения оптимальных гиперпараметров модели могут применяться различные алгоритмы настройки гиперпараметров^{[на 08.01.19 не создан]}.

См. также

• Настройка гиперпараметров^{[на 08.01.19 не создан]}
• Переобучение
• Мета-обучение^{[на 08.01.19 не создан]}

Примечания

1. Выбор модели
2. Hyperparameters
3. Difference between parameter and hyperparameter

Источники информации

1. Выбор модели - презентация на MachineLearning.ru
2. Гиперпараметры - статья на Википедии
3. Разница между параметрами и гиперпараметрами - описание разницы между параметрами и гиперпараметрами модели