Изменения

При этом структура модели не противоречит данным, на которых данная модель построена, а также она сохраняет некоторые свойства предоставленных данных.При интерпретации модели могут быть объяснены принципы и закономерности, которые использует сама модель для предсказания [[Общие_понятия#.D0.97.D0.B0.D0.B4.D0.B0.D1.87.D0.B0_.D0.BE.D0.B1.D1.83.D1.87.D0.B5.D0.BD.D0.B8.D1.8F|меток класса]] на конкретных данных.

"Проблема в том, что используя только одна метрика метрику для измеренияточности предсказания, такая каквозможно такое, точность классификациичто мы решим задачу не полностью или даже не правильно. Нас могут интересовать причины, по которым модель сделала это неполное описание большинства реальных задач"предсказание.<ref name="inv">Doshi-Velez and Kim "Towards A Rigorous Science of Interpretable Machine Learning" 2017 Page 5</ref>  '''Например''': модель решает, когда нужно класть ковидного больного в палату, а когда отправлять лечиться дома. По статистике люди болеющие астмой выживают чаще, чем здоровые, и логично предположить, что их можно отправлять лечится дома, но дело в том, что этих людей врачи лечат более тщательней, поэтому они и выживают чаще. Если бы мы верили модели в слепую, то люди с астмой просто бы умирали. Поэтому нам важно понять, почему модель пришла к тому или иному выводу.

* Когда целью является получение каких-либо знаний с помощью изучения построенной модели.

* Проблема хорошо разработана , и специалистов обучают ещё в университетах.

* Класс модели широко применяется: [[Линейная регрессия|линейные модели]] (стоимость квартиры: понятно, что это метраж, расстояние до метро, школы, детского сада и т.д., но когда параметром параметров много, то уже сложно всё это держать в голове).

* Допустим есть модель в банке, которая помогает решить, давать ли кредит человеку или нет. Приходит в банк Вася, модель отказывает ему в кредите, вопрос почему? Интерпретируемая модель ответит, потому что у него, допустим , плохая кредитная история или маленькая зарплата, а по не интерпретируемой модели вряд ли будет, что-то понятно. * Есть данные и задача бинарной [[Общие_понятия#.D0.A2.D0.B8.D0.BF.D1.8B_.D0.B7.D0.B0.D0.B4.D0.B0.D1.87|классификации]], но у нас огромное количество признаков, и мы построили [[Дерево решений и случайный лес| дерево решений]] для предсказания. И, например, мы заметили, что алгоритм построил нам дерево глубины 1, но при этом точность предсказания очень высока. Это значит, что у нас классы отлично разделимы, только по одному признаку. Это и есть пример хорошей интерпретируемости, смотреть на данные самому достаточно долго, а так же эксперт, работающий с данными, мог не подозревать о том, что для успешной классификации необходим только 1 признак, но проанализировав построенное дерево, все становится очевидно.

* Допустим есть данные и задача бинарной [[Общие_понятия#.D0.A2.D0.B8.D0.BF.D1.8B_.D0.B7.D0.B0.D0.B4.D0.B0.D1.87|классификации]], и 99% объектов имеют класс 1, остальные 0.Модель a(x) = 1, имеет точность 99%, но проинтерпретировать ее нельзя для каких-то наших исследований, особенно если нас интересуют, как возникает класс 0. Такая модель не интерпретируема, так как не информативна. * Важным примером, являются данные, в которых присутствует [[Вариации_регрессии#.D0.9C.D0.BE.D1.82.D0.B8.D0.B2.D0.B0.D1.86.D0.B8.D1.8F|мультиколлинеарность]] признаков. В таком случае, при обучении линейной модели, мы [[Переобучение|переобучимся]]. Для того, чтобы бороться с этой проблемой можно с помощью [[Регуляризация|регуляризации]]. Но так как, теперь мы оптимизируем несколько другую функцию, то и веса для модели будут отличатся от реальной зависимости на данных, что повлечёт за собой потерю интерпретируемости.

== Другие свойства Свойства интерпретируемых моделей ==

* Предсказуемость и моделируемость: свойства , при которых человек способен предсказывать поведение и ошибки модели, а так же умение "симулировать" их. Например: сложные физические модели, где часто возможно абстрагировать простые привила правила для примерного предсказания результатов.

* Разложимость и модульность: свойства , при которых человек способен декомпозировать модель на интепретируемые компоненты. Например: [[Дерево решений и случайный лес| деревья решений]] или [[Линейная регрессия|линейный модели]] для небольшой размерности.

* Доверие: пользователь чувствует себя комфортно с настройками предсказания. Так же доволен предсказаниями модели, также модель может показать, когда она не совсем уверена в своём предсказании.

* Cтабильность: статисические статистические и оптимизационные свойства

== Как создать интерпретируемую модель? Способы создания интерпретируемой модели ==

=== Использовать только интерпретируемые модели (англ. Transparent Models): ===

[[Файл:inter2accInt2acc.pngjpg|thumb|400px| рис. 1. Зависимость интерпретируемости от точности.]]

* [[Линейная регрессия|Линейные модели]].

* [[Дерево решений и случайный лес| Деревья решений]], списки правил, наборы правил.

'''Пример:''' у нас есть лук. Если “лук” находится рядом с “чесноком”, то модель думает о “луке” как о об овоще, если “лук” находится рядом с “пистолетом”, “рогаткой”, то модель думает о “луке” как о об оружии.

Одна из возможностей проанализировать модель — {{---}} оценить, насколько её решение зависит от отдельных признаков, какой признак внёс наибольший вес для нахождения решения модели. Отчётливо это можно понять благодаря следующему примеру. Модель определяет кто на картинке собака или волк. Допустим выборка для обучения оказалось не самой удачной, и все картинки с волками были на снегу, а с собаками на асфальте. Соответственно модель могла начать определять собаку или волка по асфальту или снегу. Благодаря данному виду интерпретации, модель нам можешь сказать, что главным признаком для принятия решения было не само животное, а её окружение. Данную идею реализуют с помощью значений Шепли. Значения Шепли (англ. Shapley values) {{---}} метод из коалиционной теории игр, который помогает определить, как наиболее честно распределить выигрыш между игроками в зависимости от их вклада в победу. Игроки объединяются в коалиции, чтобы полуучить некоторую выгоду от этого объединения. В машинном обучении в качестве игроков выступают признаки, а в качестве выигрыша {{---}} вклад в предсказание. Подходит для задач классификации и регрессии.

'''SHAP''' Из вклада коалиций рассчитывается вклад каждого признака в итоговый прогноз. Значение Шепли {{---}} (англ. SHapley Additive exPlanations) Важность i-го признака здесь вычисляется по такой формуле:среднее между маргинальными вкладами всех возможных коалиций<ref name="expShapley Values"> Реализация Shap Формулы смотрите здесь [https://christophm.github.comio/slundberginterpretable-ml-book/shapshapley.html]</ref>.

На основе значений Шепли Люндебергом и Ли предложен метод '''SHAP''' (SHapley Additive exPlanations), объясняющий индивидуальные предсказания. Доступна его реализация на Python <ref name="SHAP">Реализация SHAP [https://github.com/slundberg/shap]</ref>.  Важность i-го признака здесь вычисляется по такой формуле: <math>\begin{equation*} \phi_{i}(p) =\sum_{S \subseteq \{1,2..n\} / \{i\}} \frac{|S|!(n - |S| -1)!}{n!}(p(S \cup \{ i \}) - p(S)) \end{equation*}</math><ref name="habr">Павел Трошенков "Как интерпретировать предсказания моделей в SHAP" [https://habr.com/ru/post/428213]</ref>.,

<math>S</math> {{---}} произвольный набор признаков без i-того признака.

Видно, что вычисление требует переобучения обучения модели на всевозможных подмножествах признаках, поэтому на практике применяют приближения формулы.

'''LIME''' {{---}} (англ[[Файл:Lime.png|thumb|400px| рис. 2. Local Interpretable Model-agnostic Explanations) Построение локальной суррогатной модели<ref name="Limeimg">Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin Александр Дьяконов "Explaining the Predictions of Any ClassifierИнтерпретации чёрных ящиков" Рис.11 [https://www.kdddyakonov.org/kdd20162018/papers08/files28/rfp0573%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%BF%D1%80%D0%B5%D1%82%D0%B0%D1%86%D0%B8%D0%B8-%D1%87%D1%91%D1%80%D0%BD%D1%8B%D1%85-ribeiroA.pdf%D1%8F%D1%89%D0%B8%D0%BA%D0%BE%D0%B2/]</ref>.]]Даже если простая Для интерпретации модели (далее именуемой как черный ящик) можно использовать интерпретируемую суррогатную модель не сможет смоделировать сложную во всём пространстве, в окрестности конкретной точки это вполне возможнообученную на выводе черного ящика при различных входных данных. Локальные модели объясняют конкретный ответ чёрного Так как суррогатная модель будет повторять поведение черного ящика, то на её основе можно интерпретировать данный черный ящик. Эта идея показана  Есть два типа суррогатных моделей: глобальная и локальная. * Глобальная суррогатная модель обучена на рисвсем выводе черного ящика. w. У нас есть чёрный ящик (ЧЯ)Такая модель полностью повторяет поведение черного ящика, который построен соответственно интерпретирует его на данныхвсей выборке. В некоторой точке он выдал ответ, мы генерируем выборку * Локальная суррогатная модель обучена на выводе в какой-то окрестности этой определенной точки(рис. 2, узнаём ответы где ЧЯ и настраиваем обычный линейный классификатор{{---}} черный ящик). Он описывает ЧЯ Такая модель зачастую плохо интерпретирует всю выборку, но хорошо справляется с этой задачей в данной окрестности точки, хотя во всём пространстве он сильно отличается от ЧЯ. Из рис. 2 понятны достоинства и недостатки такого подхода.<ref name="lime_exp>Реализация Lime [https://github.com/marcotcr/lime]</ref>

[[Файл:limeГлобальную суррогатную модель довольно сложно построить, поэтому чаще всего прибегают к локальным моделям и интерпретируют определенные объекты.png|500px]]

''рис'LIME''' (англ. 2Local Interpretable Model-agnostic Explanations) <ref name="Lime">Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin "Explaining the Predictions of Any Classifier" [https://www. Построение локальной суррогатной моделиkdd.org/kdd2016/papers/files/rfp0573-ribeiroA.pdf]</ref> {{---}} это библиотека <ref name="lime_exp>Реализация Lime [https://github.com/marcotcr/lime]</ref>, которая строит локальную суррогатную модель.''