Изменения

При этом структура модели не противоречит данным, на которых данная модель построена, а также она сохраняет некоторые свойства предоставленных данных.При интерпретации модели могут быть объяснены принципы и закономерности, которые использует сама модель для предсказания [[Общие_понятия#.D0.97.D0.B0.D0.B4.D0.B0.D1.87.D0.B0_.D0.BE.D0.B1.D1.83.D1.87.D0.B5.D0.BD.D0.B8.D1.8F|меток класса]] на конкретных данных.

* Когда целью является получение каких-либо знаний с помощью изучения построенной модели.

* Допустим есть модель в банке, которая помогает решить, давать ли кредит человеку или нет. Приходит в банк Вася, модель отказывает ему в кредите, вопрос почему? Интерпретируемая модель ответит, потому что у него, допустим, плохая кредитная история или маленькая зарплата, а по не интерпретируемой модели вряд ли будет что-то понятно. * Есть данные и задача бинарной [[Общие_понятия#.D0.A2.D0.B8.D0.BF.D1.8B_.D0.B7.D0.B0.D0.B4.D0.B0.D1.87|классификации]], но у нас огромное количество признаков, и мы построили [[Дерево решений и случайный лес| дерево решений]] для предсказания. И, например, мы заметили, что алгоритм построил нам дерево глубины 1, но при этом точность предсказания очень высока. Это значит, что у нас классы отлично разделимы, только по одному признаку. Это и есть пример хорошей интерпретируемости, смотреть на данные самому достаточно долго, а так же эксперт, работающий с данными, мог не подозревать о том, что для успешной классификации необходим только 1 признак, но проанализировав построенное дерево, все становится очевидно.

* Допустим есть данные и задача бинарной [[Общие_понятия#.D0.A2.D0.B8.D0.BF.D1.8B_.D0.B7.D0.B0.D0.B4.D0.B0.D1.87|классификации]], и 99% объектов имеют класс 1, остальные 0.Модель a(x) = 1, имеет точность 99%, но проинтерпретировать ее нельзя для каких-то наших исследований, особенно если нас интересуют, как возникает класс 0. Такая модель не интерпретируема, так как не информативна.

* Разложимость Предсказуемость и модульностьмоделируемость: свойства , при которых человек способен декомпозировать модель на интепретируемые компонентыпредсказывать поведение и ошибки модели, а так же умение "симулировать" их. Например: [[Дерево решений и случайный лес| деревья решений]] или [[Линейная регрессия|линейный сложные физические модели]] , где часто возможно абстрагировать простые правила для небольшой размерностипримерного предсказания результатов.

* Разложимость и модульность: свойства, при которых человек способен декомпозировать модель на интепретируемые компоненты. Например: деревья решений или линейный модели для небольшой размерности. * Доверие: пользователь доволен предсказаниями модели. Так же , также модель может показать, когда она не совсем уверена в своём предсказании.

* Cтабильность: статисические статистические и оптимизационные свойства

== Как создать интерпретируемую модель? Способы создания интерпретируемой модели ==

=== Использовать только интерпретируемые модели (англ. Transparent Models): ===

[[Файл:inter2accInt2acc.pngjpg|thumb|400px| рис. 1. Зависимость интерпретируемости от точности.]]

* [[Линейная регрессия|Линейные модели]].

* [[Дерево решений и случайный лес| Деревья решений]], списки правил, наборы правил.

'''Пример:''' у нас есть лук. Если “лук” находится рядом с “чесноком”, то модель думает о “луке” как о об овоще, если “лук” находится рядом с “пистолетом”, “рогаткой”, то модель думает о “луке” как о об оружии.

Одна из возможностей проанализировать модель — {{---}} оценить, насколько её решение зависит от отдельных признаков, какой признак внёс наибольший вес для нахождения решения модели.

'''SHAP''' {{---}} (англОтчётливо это можно понять благодаря следующему примеру. SHapley Additive exPlanations) Важность i-го признака здесь вычисляется Модель определяет кто на картинке собака или волк. Допустим выборка для обучения оказалось не самой удачной, и все картинки с волками были на снегу, а с собаками на асфальте. Соответственно модель могла начать определять собаку или волка по такой формуле:<ref name="exp"> Реализация Shap [https://githubасфальту или снегу.com/slundberg/shap]</ref>Благодаря данному виду интерпретации, модель нам можешь сказать, что главным признаком для принятия решения было не само животное, а её окружение.

Данную идею реализуют с помощью значений Шепли. Значения Шепли (англ. Shapley values) {{---}} метод из коалиционной теории игр, который помогает определить, как наиболее честно распределить выигрыш между игроками в зависимости от их вклада в победу. Игроки объединяются в коалиции, чтобы полуучить некоторую выгоду от этого объединения. В машинном обучении в качестве игроков выступают признаки, а в качестве выигрыша {{---}} вклад в предсказание. Подходит для задач классификации и регрессии. Из вклада коалиций рассчитывается вклад каждого признака в итоговый прогноз. Значение Шепли {{---}} среднее между маргинальными вкладами всех возможных коалиций<ref name="Shapley Values">Формулы смотрите здесь [https://christophm.github.io/interpretable-ml-book/shapley.html]</ref>. На основе значений Шепли Люндебергом и Ли предложен метод '''SHAP''' (SHapley Additive exPlanations), объясняющий индивидуальные предсказания. Доступна его реализация на Python <ref name="SHAP">Реализация SHAP [https://github.com/slundberg/shap]</ref>.  Важность i-го признака здесь вычисляется по такой формуле: <math>\begin{equation*} \phi_{i}(p) =\sum_{S \subseteq \{1,2..n\} / \{i\}} \frac{|S|!(n - |S| -1)!}{n!}(p(S \cup \{ i \}) - p(S)) \end{equation*}</math><ref name="habr">Павел Трошенков "Как интерпретировать предсказания моделей в SHAP" [https://habr.com/ru/post/428213]</ref>.,

'''LIME''' {{---}} (англ[[Файл:Lime.png|thumb|400px| рис. 2. Local Interpretable Model-agnostic Explanations) Построение локальной суррогатной модели<ref name="Limeimg">Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin Александр Дьяконов "Explaining the Predictions of Any ClassifierИнтерпретации чёрных ящиков" Рис.11 [https://www.kdddyakonov.org/kdd20162018/papers08/files28/rfp0573%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%BF%D1%80%D0%B5%D1%82%D0%B0%D1%86%D0%B8%D0%B8-%D1%87%D1%91%D1%80%D0%BD%D1%8B%D1%85-ribeiroA.pdf%D1%8F%D1%89%D0%B8%D0%BA%D0%BE%D0%B2/]</ref>.]]Даже если простая Для интерпретации модели (далее именуемой как черный ящик) можно использовать интерпретируемую суррогатную модель не сможет смоделировать сложную во всём пространстве, в окрестности конкретной точки это вполне возможнообученную на выводе черного ящика при различных входных данных. Локальные модели объясняют конкретный ответ чёрного Так как суррогатная модель будет повторять поведение черного ящика, то на её основе можно интерпретировать данный черный ящик. Эта идея показана  Есть два типа суррогатных моделей: глобальная и локальная. * Глобальная суррогатная модель обучена на рисвсем выводе черного ящика. 2. У нас есть чёрный ящик (ЧЯ)Такая модель полностью повторяет поведение черного ящика, который построен соответственно интерпретирует его на данныхвсей выборке. В некоторой точке он выдал ответ, мы генерируем выборку * Локальная суррогатная модель обучена на выводе в какой-то окрестности этой определенной точки(рис. 2, узнаём ответы где ЧЯ и настраиваем обычный линейный классификатор{{---}} черный ящик). Он описывает ЧЯ Такая модель зачастую плохо интерпретирует всю выборку, но хорошо справляется с этой задачей в данной окрестности точки, хотя во всём пространстве он сильно отличается от ЧЯ. Из рис. 2 понятны достоинства и недостатки такого подхода.<ref name="lime_exp>Реализация Lime [https://github.com/marcotcr/lime]</ref>

[[Файл:limeГлобальную суррогатную модель довольно сложно построить, поэтому чаще всего прибегают к локальным моделям и интерпретируют определенные объекты.png|500px]]

''рис'LIME''' (англ. 2Local Interpretable Model-agnostic Explanations) <ref name="Lime">Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin "Explaining the Predictions of Any Classifier" [https://www. Построение локальной суррогатной моделиkdd.org/kdd2016/papers/files/rfp0573-ribeiroA.pdf]</ref> {{---}} это библиотека <ref name="lime_exp>Реализация Lime [https://github.com/marcotcr/lime]</ref>, которая строит локальную суррогатную модель.''