174
правки
Изменения
м
Одна Данную идею реализуют с помощью значений Шепли. Значения Шепли (англ. Shapley values) {{---}} метод из реализацией данной идеи является библиотека '''SHAP'''коалиционной теории игр, который помогает определить, как наиболее честно распределить выигрыш между игроками в зависимости от их вклада в победу. Игроки объединяются в коалиции, чтобы полуучить некоторую выгоду от этого объединения. В машинном обучении в качестве игроков выступают признаки, а в качестве выигрыша {{---}} вклад в предсказание. Подходит для задач классификации и регрессии. Из вклада коалиций рассчитывается вклад каждого признака в итоговый прогноз. Значение Шепли {{---}} среднее между маргинальными вкладами всех возможных коалиций<ref name="Shapley Values">Формулы смотрите здесь [https://christophm.github.io/interpretable-ml-book/shapley.html]</ref>.
Суррогатная модель {{---}} это интерпретируемая модель, обученная на выводе изначальной [[Файл:Lime.png|thumb|400px| рис. 2. Построение локальной суррогатной модели, которую требуется интерпретировать, и уже на её основе описывают первичную модель<ref name="img">Александр Дьяконов "Интерпретации чёрных ящиков" Рис. Есть два типа суррогатных моделей11 [https: глобальная и локальная//dyakonov. Глобальная модель {{---}} это модель построенная на всём выводе изначальной, локальная модель {{--org/2018/08/28/%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%BF%D1%80%D0%B5%D1%82%D0%B0%D1%86%D0%B8%D0%B8-}} это модель построенная на выводе в какой%D1%87%D1%91%D1%80%D0%BD%D1%8B%D1%85-то окрестности, для описания поведения изначальной в определенной точке%D1%8F%D1%89%D0%B8%D0%BA%D0%BE%D0%B2/]</ref>.]]
Одна из реализацией локальной суррогатной Для интерпретации модели является '''LIME'''(далее именуемой как черный ящик) можно использовать интерпретируемую суррогатную модель, обученную на выводе черного ящика при различных входных данных. Так как суррогатная модель будет повторять поведение черного ящика, то на её основе можно интерпретировать данный черный ящик.
'''LIME''' {{---}} (англ. Local Interpretable Model-agnostic Explanations) <ref name="Lime">Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin "Explaining the Predictions of Any Classifier" [httpsЕсть два типа суррогатных моделей://wwwглобальная и локальная.kdd* Глобальная суррогатная модель обучена на всем выводе черного ящика.org/kdd2016/papers/files/rfp0573-ribeiroAТакая модель полностью повторяет поведение черного ящика, соответственно интерпретирует его на всей выборке.pdf]</ref>Даже если простая * Локальная суррогатная модель не сможет смоделировать сложную во всём пространстве, обучена на выводе в какой-то окрестности конкретной определенной точки это вполне возможно. Локальные модели объясняют конкретный ответ чёрного ящика. Эта идея показана на (рис. 2. У нас есть чёрный , где ЧЯ {{---}} черный ящик (ЧЯ), который построен на данных. В некоторой точке он выдал ответТакая модель зачастую плохо интерпретирует всю выборку, мы генерируем выборку в окрестности но хорошо справляется с этой точки, узнаём ответы ЧЯ и настраиваем обычный линейный классификатор. Он описывает ЧЯ задачей в данной окрестности точки, хотя во всём пространстве он сильно отличается от ЧЯ. Из рис. 2 понятны достоинства и недостатки такого подхода.<ref name="lime_exp>Реализация Lime [https://github.com/marcotcr/lime]</ref>
[[Файл:limeГлобальную суррогатную модель довольно сложно построить, поэтому чаще всего прибегают к локальным моделям и интерпретируют определенные объекты.png|500px]]
→Важность признаков
'''Интерпретируемость''' {{---}} это свойство модели, которое показывает, что структуру данной модели может объяснить человек.
При этом структура модели не противоречит данным, на которых данная модель построена, а также она сохраняет некоторые свойства предоставленных данных.
При интерпретации модели могут быть объяснены принципы и закономерности, которые использует сама модель для предсказания [[Общие_понятия#.D0.97.D0.B0.D0.B4.D0.B0.D1.87.D0.B0_.D0.BE.D0.B1.D1.83.D1.87.D0.B5.D0.BD.D0.B8.D1.8F|меток класса]] на конкретных данных.
== Практическая польза ==
=== Когда нужна интерпретируемость ===
* Когда целью является получение каких-либо знаний с помощью изучения построенной модели.
* Когда алгоритм оптимизировал неполную цель. Например, когда автомобильный инженер получает предсказания о параметрах двигателя, но ему нужно построит в целом достаточно хороший и надёжный автомобиль.
* Для безопасности сложных систем. Такие системы, в большинстве случаев, нельзя протестировать от начала до конца. Вычислительно тяжело просмотреть все возможное входные данные и сценарии развития событий.
* Интерпретация тренировных данных, поиск выбросов в них.
* Поиск ошибок в выводе модели.
* Пользователь может больше доверять модели.
=== Когда интерпретируемость не требуется ===
* Необходимость скрыть систему (кому давать кредит, качество работы сотрудника, поисковое ранжирование).
== Классификая моделей ==
* Post-Hoc (воспринимает модель как "черный ящик", например, нейросеть) vs Intrinsic (накладывают ограничения на сложность самой модели).
* Специфические (работают только для конкретной архитектуры модели) vs агностические (можно применить ко всем моделям для решения конкретной задачи).
* Локальные (позволяют понять предсказание для конкретного объекта) vs глобальные (понимание в целом, какие признаки влияют на предсказание).
== Примеры моделей ==
=== Пример интерпретируемой модели ===
* Допустим есть модель в банке, которая помогает решить, давать ли кредит человеку или нет. Приходит в банк Вася, модель отказывает ему в кредите, вопрос почему? Интерпретируемая модель ответит, потому что у него, допустим, плохая кредитная история или маленькая зарплата, а по не интерпретируемой модели вряд ли будет что-то понятно. * Есть данные и задача бинарной [[Общие_понятия#.D0.A2.D0.B8.D0.BF.D1.8B_.D0.B7.D0.B0.D0.B4.D0.B0.D1.87|классификации]], но у нас огромное количество признаков, и мы построили [[Дерево решений и случайный лес| дерево решений]] для предсказания. И, например, мы заметили, что алгоритм построил нам дерево глубины 1, но при этом точность предсказания очень высока. Это значит, что у нас классы отлично разделимы, только по одному признаку. Это и есть пример хорошей интерпретируемости, смотреть на данные самому достаточно долго, а так же эксперт, работающий с данными, мог не подозревать о том, что для успешной классификации необходим только 1 признак, но проанализировав построенное дерево, все становится очевидно.
=== Пример эффективной в предсказании, но не интерпретируемой модели ===
* Допустим есть данные и задача бинарной [[Общие_понятия#.D0.A2.D0.B8.D0.BF.D1.8B_.D0.B7.D0.B0.D0.B4.D0.B0.D1.87|классификации]], и 99% объектов имеют класс 1, остальные 0.Модель a(x) = 1, имеет точность 99%, но проинтерпретировать ее нельзя для каких-то наших исследований, особенно если нас интересуют, как возникает класс 0. Такая модель не интерпретируема, так как не информативна.
* Важным примером, являются данные, в которых присутствует [[Вариации_регрессии#.D0.9C.D0.BE.D1.82.D0.B8.D0.B2.D0.B0.D1.86.D0.B8.D1.8F|мультиколлинеарность ]] признаков. ПонятноВ таком случае, что при построении линейных моделей обучении линейной модели, мы [[Переобучение|переобучимся]]. Для того, чтобы бороться с этой проблемой можно с помощью [[Регуляризация|регуляризации]]. Но так как, теперь мы оптимизируем несколько другую функцию, то и веса для предсказания модели будут отличатся от реальной зависимости на этих данных, может получится несколько различных весов для признаков, при этом все они могут оказаться корректнымичто повлечёт за собой потерю интерпретируемости.
== Свойства интерпретируемых моделей ==
* Предсказуемость и моделируемость: свойства, при которых человек способен предсказывать поведение и ошибки модели, а так же умение "симулировать" их. Например: сложные физические модели, где часто возможно абстрагировать простые правила для примерного предсказания результатов.
* Разложимость и модульность: свойства, при которых человек способен декомпозировать модель на интепретируемые компоненты. Например: [[Дерево решений и случайный лес| деревья решений]] или [[Линейная регрессия|линейный модели]] для небольшой размерности.
* Доверие: пользователь доволен предсказаниями модели, также модель может показать, когда она не совсем уверена в своём предсказании.
* Cтабильность: статистические и оптимизационные свойства
== Как создать интерпретируемую модель? Способы создания интерпретируемой модели ==
=== Использовать только интерпретируемые модели (англ. Transparent Models): ===
[[Файл:Int2acc.jpg|thumb|400px| рис. 1. Зависимость интерпретируемости от точности.]]
* [[Линейная регрессия|Линейные модели]].
* [[Дерево решений и случайный лес| Деревья решений]], списки правил, наборы правил.
* Модели основывающиеся на предыдущем опыте.
=== Важность признаков ===
Одна из возможностей проанализировать модель — {{---}} оценить, насколько её решение зависит от отдельных признаков, какой признак внёс наибольший вес для нахождения решения модели.
Отчётливо это можно понять благодаря следующему примеру. Модель определяет кто на картинке собака или волк. Допустим выборка для обучения оказалось не самой удачной, и все картинки с волками были на снегу, а с собаками на асфальте. Соответственно модель могла начать определять собаку или волка по асфальту или снегу. Благодаря данному виду интерпретации, модель нам можешь сказать, что главным признаком для принятия решения было не само животное, а её окружение.
На основе значений Шепли Люндебергом и Ли предложен метод '''SHAP''' {{---}} (англ. SHapley Additive exPlanations) это библиотека, которая для оценки важности признаков рассчитываются значения Шэплиобъясняющий индивидуальные предсказания. Доступна его реализация на Python <ref name="ShapleySHAP">Статья в википедии о значениях Шэпли Реализация SHAP [https://engithub.wikipedia.orgcom/wikislundberg/Shapley_valueshap]</ref> (происходит оценка предсказаний модели с и без данного признака).
Важность i-го признака здесь вычисляется по такой формуле:<ref name="exp"> Реализация Shap [https://github.com/slundberg/shap]</ref>
<math>\begin{equation*} \phi_{i}(p) =\sum_{S \subseteq \{1,2..n\} / \{i\}} \frac{|S|!(n - |S| -1)!}{n!}(p(S \cup \{ i \}) - p(S)) \end{equation*}</math><ref name="habr">Павел Трошенков "Как интерпретировать предсказания моделей в SHAP" [https://habr.com/ru/post/428213]</ref>.,
где:
=== Суррогатные модели ===
''рис'LIME''' (англ. 2Local Interpretable Model-agnostic Explanations) <ref name="Lime">Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin "Explaining the Predictions of Any Classifier" [https://www. Построение локальной суррогатной моделиkdd.org/kdd2016/papers/files/rfp0573-ribeiroA.pdf]</ref> {{---}} это библиотека <ref name="lime_exp>Реализация Lime [https://github.com/marcotcr/lime]</ref>, которая строит локальную суррогатную модель.''
== См. также ==
