Изменения
Нет описания правки
'''Интерпретируемая модель''' - модель обладающая свойством '''интерпретируемости'''.
'''Интерпретируемость''' - это свойство модели, которое показывает, что структуру данной модели может объяснить человек.
Если модель машинного обучения работает хорошо, почему мы просто не доверяем модели и игнорируем факторы, из-за которых она приняла то или иное решение?
"Проблема в том, что только одна метрика измерения, такая как, точность классификации, это неполное описание большинства реальных задач" .
<ref name="inv">Doshi-Velez and Kim "Towards A Rigorous Science of Interpretable Machine Learning" 2017 Page 5</ref>
=== Когда нужна интерпретируемость ===
* Когда целью является получение каких либо знаний с помощью изучения построенной модели.
* Когда алгоритм оптимизировал неполную цель. Например, когда автомобильный инженер получает предсказания об параметрах двигателя, но ему нужно построит в целом наилучший автомобиль.
* Для безопасности сложных систем. Такие системы, в большинстве случаев, нельзя протестировать от начала до конца. Нельзя Вычислительно тяжело просмотреть все возможное входные данные и сценарии развития событий.
=== Когда интерпретируемость не требуется ===
* Влияние модели мало, а сама интерпретация стоит денег (мл в онлайн магазинах / предложение новых покупок на основе предыдущих) .
* проблема хорошо разработана и люди и так все понимают (специалистов обучают ещё в университетах) .
* класс модели широко применяется: [[Линейная регрессия|линейные модели ]] (стоимость квартиры: очевидно это метраж, расстояние до метро, школы, детского сада и т. д., но когда параметром много, то уже сложно всё это держать в голове).
* обман системы (кому давать кредит, качество работы сотрудника, поисковое ранжирование).
== Примеры моделей ==
=== Пример эффективной в предсказании но не интерпретируемой модели ===
Допустим есть данные и задача бинарной [[Общие_понятия#.D0.A2.D0.B8.D0.BF.D1.8B_.D0.B7.D0.B0.D0.B4.D0.B0.D1.87|классификации]], и 99% объектов имеют класс 1, остальные 0.
Модель a(x) = 1, имеет точность 99%, но проинтерпретировать ее нельзя для каких-то наших исследований, особенно если нас интересуют, как возникает класс 0. Такая модель не интерпретируема, так как не информативна.
* Предсказуемость и моделируемость: свойства при которых человек способен предсказывать поведение и ошибки модели, а так же умение "симулировать" их. Например TODO
* Разложимость и модульность: свойства при которых человек способен декомпазировать модель на интепретируемые компоненты. Например TODO[[Дерево решений и случайный лес| деревья решений]] или [[Линейная регрессия|линейный модели]] для небольшой размерности.
* Доверие: TODO
* Информативность: из модели можно выявить вспомогательную информацию полезную для принятия какого-либо решения.
