Изменения
→Практическая польза
Если модель машинного обучения работает хорошо, почему мы просто не доверяем модели и игнорируем факторы, из-за которых она приняла то или иное решение?
"Проблема в том, что используя только одна метрика метрику для измеренияточности предсказания, такая каквозможно такое, точность классификациичто мы решим задачу не полностью или даже не правильно. Нас могут интересовать причины, по которым модель сделала это неполное описание большинства реальных задачпредсказание". Например: модель решает, когда нужно ложить ковидного больного в палату, а когда отправлять лечиться дома. По статистике люди болеющие астмой выживают чаще чем здоровые, и логично предположить, что их можно отправлять лечится дома, но дело в том, что этих людей врачи лечат более тщательней, поэтому они и выживают чаще. Если бы мы верили модели в слепую, то люди с астмой просто бы умирали. Поэтому нам важно понять, почему модель пришла к тому или иному выводу.
<ref name="inv">Doshi-Velez and Kim "Towards A Rigorous Science of Interpretable Machine Learning" 2017 Page 5</ref>
