Изменения
→Использовать только интерпретируемые модели:
* Предсказуемость и моделируемость: свойства, при которых человек способен предсказывать поведение и ошибки модели, а так же умение "симулировать" их. Например: сложные физические модели, где часто возможно абстрагировать простые правила для примерного предсказания результатов.
* Разложимость и модульность: свойства, при которых человек способен декомпозировать модель на интепретируемые компоненты. Например: [[Дерево решений и случайный лес| деревья решений]] или линейный модели для небольшой размерности.
* Доверие: пользователь доволен предсказаниями модели, также модель может показать, когда она не совсем уверена в своём предсказании.
== Способы создания интерпретируемой модели ==
=== Использовать только интерпретируемые модели (англ. Transparent Models): ===
[[Файл:Int2acc.jpg|thumb|400px| рис. 1. Зависимость интерпретируемости от точности.]]
Одна из реализацией данной идеи является библиотека '''SHAP'''.
'''SHAP''' (англ. SHapley Additive exPlanations) {{---}} (англ. SHapley Additive exPlanations) это библиотека, которая для оценки важности признаков рассчитываются значения Шэпли<ref name="Shapley>Статья в википедии о значениях Шэпли [https://en.wikipedia.org/wiki/Shapley_value]</ref> (происходит оценка предсказаний модели с и без данного признака).
Важность i-го признака здесь вычисляется по такой формуле:<ref name="exp"> Реализация Shap [https://github.com/slundberg/shap]</ref>
[[Файл:Lime.png|thumb|400px| рис. 2. Построение локальной суррогатной модели<ref name="img">Александр Дьяконов "Интерпретации чёрных ящиков" Рис.11 [https://dyakonov.org/2018/08/28/%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%BF%D1%80%D0%B5%D1%82%D0%B0%D1%86%D0%B8%D0%B8-%D1%87%D1%91%D1%80%D0%BD%D1%8B%D1%85-%D1%8F%D1%89%D0%B8%D0%BA%D0%BE%D0%B2/]</ref>.]]
'''Суррогатная модель''' {{---}} это интерпретируемая модель, обученная на выводе модели (далее именуемый как черный ящик), которую требуется интерпретировать, при различных входных данных. На основе суррогатной модели описывается поведение черного ящика.
Есть два типа суррогатных моделей: глобальная и локальная.
Глобальную суррогатную модель довольно сложно построить, поэтому чаще всего прибегают к локальным моделям и интерпретируют определенные объекты.
'''LIME''' {{---}} (англ. Local Interpretable Model-agnostic Explanations) <ref name="Lime">Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin "Explaining the Predictions of Any Classifier" [https://www.kdd.org/kdd2016/papers/files/rfp0573-ribeiroA.pdf]</ref>{{---}} это библиотека <ref name="lime_exp>Реализация Lime [https://github.com/marcotcr/lime]</ref>, которая строит локальную суррогатную модель.
== См. также ==
