Дерево решений и случайный лес

Решающее дерево —

Основные определения

Простейший алгоритм синтеза дерева

Разновидности решающих деревьев

Тип задачи

• Классификация
• Регрессия

Критерии ветвления

• Энтропийный критерий
• Критерий Джини

Критерии останова

Что находится во внутренних вершинах

Что находится в листьях

Передача информации между вершинами

• (alternating decision tree)

Рецукция решающих деревьев

• Предредукция
• Постредукция

Оценивание вероятностей

Полужадный синтез

Алгоритмы построения решающих деревьев

• Алгоритм ID3
• Алгоритм C4.5
• Алгоритм C5.0
• Алгоритм CART
• Алгоритм LISTBB

Композиции решающих деревьев

• Решающий лес
• Бустинг над решающими деревьями

Ссылки

• Classification and Regression Trees — лекции Cosma Shalizi, ноябрь 2009.