Дерево решений и случайный лес

Дерево решений

Определение:

Дерево решений (англ. decision tree, DT) — логический алгоритм классификации, основанный на поиске конъюнктивных закономерностей.

Основные определения

Простейший алгоритм синтеза дерева

Разновидности решающих деревьев

Тип задачи

• Классификация
• Регрессия

Критерии ветвления

• Энтропийный критерий
• Критерий Джини

Критерии останова

Что находится во внутренних вершинах

Что находится в листьях

Передача информации между вершинами

• (alternating decision tree)

Рецукция решающих деревьев

• Предредукция
• Постредукция

Оценивание вероятностей

Полужадный синтез

Алгоритмы построения решающих деревьев

• Алгоритм ID3
• Алгоритм C4.5
• Алгоритм C5.0
• Алгоритм CART
• Алгоритм LISTBB

Композиции решающих деревьев

• Решающий лес
• Бустинг над решающими деревьями

Ссылки

• Classification and Regression Trees — лекции Cosma Shalizi, ноябрь 2009.