Изменения

Если модель машинного обучения работает хорошо, почему мы просто не доверяем модели и игнорируем факторы, из-за которых она приняла то или иное решение?

'''Например''': модель решает, когда нужно ложить ковидного больного в палату, а когда отправлять лечиться дома. По статистике люди болеющие астмой выживают чаще чем здоровые, и логично предположить, что их можно отправлять лечится дома, но дело в том, что этих людей врачи лечат более тщательней, поэтому они и выживают чаще. Если бы мы верили модели в слепую, то люди с астмой просто бы умирали. Поэтому нам важно понять, почему модель пришла к тому или иному выводу.

=== Когда нужна интерпретируемость ===