1632
правки
Изменения
м
Одна из реализацией данной идеи является библиотека '''SHAP'''Данную идею реализуют с помощью значений Шепли.
'''SHAP''' Значения Шепли (англ. SHapley Additive exPlanationsShapley values) {{---}} это библиотекаметод из коалиционной теории игр, которая для оценки важности признаков рассчитываются значения Шэпли<ref name="Shapley>Статья который помогает определить, как наиболее честно распределить выигрыш между игроками в зависимости от их вклада в победу. Игроки объединяются в википедии о значениях Шэпли [https://enкоалиции, чтобы полуучить некоторую выгоду от этого объединения.wikipediaВ машинном обучении в качестве игроков выступают признаки, а в качестве выигрыша {{---}} вклад в предсказание.org/wiki/Shapley_value]</ref> (происходит оценка предсказаний модели с Подходит для задач классификации и без данного признака)регрессии.
Важность iИз вклада коалиций рассчитывается вклад каждого признака в итоговый прогноз. Значение Шепли {{---го признака }} среднее между маргинальными вкладами всех возможных коалиций<ref name="Shapley Values">Формулы смотрите здесь вычисляется по такой формуле[https://christophm.github.io/interpretable-ml-book/shapley.html]</ref>. На основе значений Шепли Люндебергом и Ли предложен метод '''SHAP''' (SHapley Additive exPlanations), объясняющий индивидуальные предсказания. Доступна его реализация на Python <ref name="expSHAP"> Реализация Shap SHAP [https://github.com/slundberg/shap]</ref>. Важность i-го признака здесь вычисляется по такой формуле:
rollbackEdits.php mass rollback
== Классификая моделей ==
* Post-Hoc (позволяют объяснить результаты моделивоспринимает модель как "черный ящик", например, нейросеть) vs Intrinsic (накладывают ограничения на сложность самой модели).
* Специфические (работают только для конкретной архитектуры модели) vs агностические (можно применить ко всем моделям для решения конкретной задачи).
* Локальные (позволяют понять предсказание для конкретного объекта) vs глобальные (понимание в целом, какие признаки влияют на предсказание).
=== Важность признаков ===
Одна из возможностей проанализировать модель — {{---}} оценить, насколько её решение зависит от отдельных признаков, какой признак внёс наибольший вес для нахождения решения модели.
Отчётливо это можно понять благодаря следующему примеру. Модель определяет кто на картинке собака или волк. Допустим выборка для обучения оказалось не самой удачной, и все картинки с волками были на снегу, а с собаками на асфальте. Соответственно модель могла начать определять собаку или волка по асфальту или снегу. Благодаря данному виду интерпретации, модель нам можешь сказать, что главным признаком для принятия решения было не само животное, а её окружение.
<math>\begin{equation*} \phi_{i}(p) =\sum_{S \subseteq \{1,2..n\} / \{i\}} \frac{|S|!(n - |S| -1)!}{n!}(p(S \cup \{ i \}) - p(S)) \end{equation*}</math><ref name="habr">Павел Трошенков "Как интерпретировать предсказания моделей в SHAP" [https://habr.com/ru/post/428213]</ref>,
