Изменения

Перейти к: навигация, поиск

EM-алгоритм

1 байт добавлено, 14:03, 21 марта 2020
Поправил опечатки
# Задачи с неполными данными.
# Задачи, в которых удобно вводить скрытые переменные для упрощения подсчета функции правдоподобия. Примером такой задачи может служить кластеризация.
== Основной алгоритм ==
# По заданной выборке <tex>X^m</tex> случайных и независимых наблюдений полученных из смеси <tex>p(x)</tex>, числу <tex>k</tex> и функции <tex>\phi</tex>, оценить вектор параметров <tex>\Theta = (w_1,..,w_k,\theta_1,..,\theta_k)</tex>
# Найти <tex>k</tex>.
=== Проблема ===
<tex> L(\Theta) = ln \prod\limits_{i=1}^mp(x_i) = \sum\limits_{i=1}^m ln\sum\limits_{j=1}^k w_j p_j(x_i; \theta_j) \longrightarrow \max\limits_{\Theta}</tex><br/>
Но пробелма проблeма в том, что мы не знаем как аналитически посчитать логарифм суммы. Тут нам и поможет алгоритм EM.
=== Решение ===
Основная идея алгоритма EM заключается в том, что мы добавляме добавляем скрытые переменные такие, что:<br/>
# Они могут быть выражены через <tex>\Theta</tex>
Анонимный участник

Навигация